Fazendo boa Ciência: Por que devo tornar minha pesquisa computacional Reprodutível?

A reprodutibilidade é um termo muito debatido na ciência atualmente, afinal, a ciência por definição busca resultados de experimentos reproduzíveis. As pesquisas claramente avançam com mais rapidez quando os cientistas verificam e têm a possibilidade de observar os resultados uns dos outros, além de perderem menos tempo buscando pistas falsas.

Em 2013, iniciou-se o Reproducibility Project: Cancer Biology of the Center for Open Science, cujo objetivo é reproduzir 50 importantes estudos de câncer e analisar os resultados. Até o momento, os 5 primeiros trabalhos foram liberados, pelo menos uma vez em cada estudo analisado, um resultado alcançado não foi encontrado como o reportado. Em dois dos casos, as diferenças entre o estudo inicial e o replicado foi ainda mais impressionantes, dando motivo de preocupação para toda a comunidade científica.

Em 2015, foi realizado o Reproducibility Project: Psychology pelo Open Science Colaboration um projeto de verificação de reprodutibilidade de 100 estudos da área de psicologia, entre os estudos analisados apenas 39 foram replicados. O que nos indica que diferentes áreas do conhecimento possuem dificuldade em reproduzir seus próprios trabalhos.

Pesquisas Reprodutíveis têm ganhado espaço e muita importância na comunidade científica nos últimos anos. Os gráficos abaixo mostram o crescimento do termo Reproducible Research nos trabalhos publicados nos últimos 20 anos.

Em que momento devo tornar minha pesquisa Reprodutível?

Os pesquisadores geralmente começam a pensar em tornar seu trabalho reprodutível perto do final do processo de pesquisa, quando eles escrevem seus resultados ou quando precisam compartilhar a pesquisa com algum colega de laboratório. Até este ponto, podem haver várias versões do conjunto de dados e registros das análises armazenadas em diferentes repositórios. Tornando um trabalho difícil e demorado pesquisar e organizar todos os arquivos necessários para criar uma ordem precisa de como os resultados foram alcançados.

Esperar até o final do processo de pesquisa para começar a pensar sobre a reprodutibilidade geralmente resulta em uma documentação incompleta, sem uma descrição tão precisa de como foram feitas cada uma das descobertas. Portanto, é importante concentrar-se na reprodutibilidade desde o início do processo e continuar a seguir boas práticas de reprodutibilidade durante as atualizações do trabalho.

Pense no processo de reprodutibilidade desde a concepção da sua proposta de pesquisa e garanta que o trabalho seja facilmente reproduzido por qualquer outro pesquisador do mundo.

Mas como tornar minha pesquisa Reprodutível?

Lembre-se que uma pesquisa parcialmente reprodutível é melhor que uma pesquisa não reprodutível.

Na prática, nem todos os projetos são 100% reprodutíveis, mas permita que seu projeto seja o mais reprodutível que estiver ao seu alcance. A proposta de um trabalho reprodutível é oferecer a qualquer outro pesquisador, os dados originais do estudo, processados com os mesmos scripts e obter resultados idênticos ou muito próximos do original. Mas aqui vão algumas dicas de como começar e algumas boas estratégias.

Imagine sua pesquisa em 5 âmbitos:

– Workflow: Ofereça um overview do seu trabalho, ter uma visão de onde podemos chegar no final da jornada facilita ao observar cada parte do trabalho. Veja o nosso artigo Criando Workflows para Pesquisa Computacional Reprodutível.
– Dados: 
Sempre que possível devem ser disponibilizados, com informações como: origem, tamanho e possíveis normalizações utilizadas. Saiba mais no nosso artigo Lidando com Dados na Pesquisa Computacional Reprodutível.
– Código: 
Quando possível, disponibilize seus scripts, cuide para que eles sejam fácil de ser entendidos por humanos. 
– Documentação: 
Além do seu paper por escrito, ofereça informações sobre cada etapa do seu trabalho: como os dados se relacionam com os códigos? Como os gráficos do trabalho foram gerados? E como aqueles resultados foram alcançados? 
– Ambiente:
 Disponibilize informações do ambiente utilizado. A versão das bibliotecas e softwares utilizadas em sua pesquisa mudam ao longo do tempo e podem alterar o resultado final de reprodutibilidade.

Alguns projetos são mais complexos do que outros e consequentemente podem tornar o processo de reprodutibilidade mais desafiador. Muitas ferramentas e técnicas estão disponíveis para ajudar a superar esses desafios.

Esta é uma série de artigos sobre Reprodutibilidade em Pesquisa, acompanhe os próximos artigos sobre cada uma destas etapas, você encontrará as melhores práticas em cada uma das 5 etapas indicadas, note que a ordem dos passos são apenas uma sugestão, ficando a critério do leitor executar cada etapa de acordo com as necessidades de seu projeto.

Leia também

Deixe uma resposta

O seu endereço de e-mail não será publicado.