Avaliação pelos pares de conjunto de dados (datasets) : quando, porque e como em geociências ?

Fonte : Mayernik, Matthew S. ; Callaghan, Sarah ; Leigh, Roland ; Tedds, Jonathan . Worley, Steven. Peer Review of Datasets: When, Why, and How. Bulletin of the American Meteorological Society 2014 ; e-View doi: http://dx.doi.org/10.1175/BAMS-D-13-00083.1.

Esse artigo mostra o papel central de avaliação pelos pares (peer-review) no sistema de comunicação cientifica e  como ele pode se aplicar na avaliação da qualidade dos datasets (conjuntos de dados) na área da meteorologia. A questão principal é a aplicabilidade da avaliação pelos pares sobre dados para manter qualidade e aumentar a reutilização deles.

Esse estudo faz parte do projeto PREPARDE (the Peer REview for Publication & Accreditation of Research Data in the Earth sciences) (1).

Muitos jornais tem instruções dizendo  que os dados devem ser disponíveis para cientistas, desde que eles peçam , mais na realidade isso pode ser muito dificil para cumprir. Avaliação pelos pares de dados não é muito bem definida ainda. Tem muitas barreiras como por exemplo, poucos pesquisadores podem avaliar dados e essa atividade pode levar muito tempo.

Os cenários explorados no artigo são :

1. dados analisados dentro dos artigos científicos tradicionais :
   

   nessa situação os dados são vistos como um apoio logico para as conclusões do artigo de pesquisa

2. dados publicados dentro de um jornal cientifico :
   

   Isso é comum em geociências : um artigo clássico apresenta um novo conjunto de dados. 11 dos 20 artigos mais citados das revista Bulletin of the American Meteorological Society são sobre dados. Esse tipo de « data paper » recebe a mesma avaliação do que os outros artigos de pesquisa, sem instruções especificas.
   A preocupação é de manter a perenidade dos dados e o link entre o artigo descrevendo eles através de parcerias entre bibliotecas e jornais com ferramenta de repositórios de dados (por exemplo http://rda.ucar.edu),  de « persistente identifier » como o DOI e da homogenização dos metadados. Esses link entre repositórios e jornais está crescendo rápido e os atores formam uma comunidade de avaliação de dados.

3. Dados submetidos dentro de repositórios de dados abertos :
   

   Em geociências os repositórios de dados são criados para instituições ou para centros nacionais de dados. Esse tipo de avaliação é mais tecnica do que cientifica. Mais a situação esta evoluindo e tem repositórios que exigem uma avaliação do conjunto de dados antes de publicá-los.

   Os repositórios de dados tem expertise para implementar “data managment plan” que ensurre antes do deposito a qualidade e controle dos dados.

4. Conjunto de dados publicados em data journals :
   

   Data journals são jornais que vão publicar data papers. Esses artigos vão descrever um conjunto de dados que vai ser disponibilizado dentro de um repositório explicando as condições de processamento, a coleção e formato de arquivos. Data papers são uma etapa para fornecer documentação sobre a qualidade e são também o primeiro passo entre utilisadores e produtores. Eles precisam ser avaliados. O artigo completo analisa três data journals :  Earth System Science Data (Copernicus), Geoscience, Data Journal (Wiley), and Scientific Data (Nature). Ver também o pos nesse blog Publicação dos dados em Data journals.
   

Avaliação de dados de pesquisa não é ainda bem definida. Portanto definir a qualidade de conjuntos de dados é uma tarefa multi-facetas que envolvem processamentos automáticos e manuais.

Adicionar dados de pesquisa dentro do sistema de publicação e avaliação aumenta o estresse sobre o sistema de publicação cientifica. Mais se é feito com preparação e antecedencia poderá aumentar a confiança aos conjuntos de dados individuais, reforçar o sistema de citação dos datasets e a transparência e traçabilidade dos dados e também das publicações.

1 PREPARDE http://www2.le.ac.uk/projects/preparde

---

---