Medindo, classificando, apoiando e fortalecendo a publicação científica em acesso aberto no Brasil [nota de leitura]

 

Esse artigo [1] mostra a influência do modelo acesso livre (ou acesso aberto) na qualidade das revistas cientificas brasileiras  e compara  em diferentes disciplinas  a notoriedade dos jornais brasileiros em relação aos  jornais internacionais.

Esse trabalho analisou um painel impressionante de sistema de referências mais a base de referência é o sistema Qualis da CAPES.  O Qualis é o sistema brasileiro para avaliação dos jornais  como outros bancos de dados para examinar a relação entre qualidade académica e acesso livre no contexto brasileiro. Usando as diferentes fontes citadas acima o estudo mostra a proporção de jornais em  tipo de acesso livre e a avaliação dos jornais brasileiros para cada disciplina.

O artigo mostra que o Brasil de acordo com o Ulrich’s directory tem mais  publicações em acesso livre do que qualquer outro país  (69% dos artigos em Acesso Livre). Continuar a ler “Medindo, classificando, apoiando e fortalecendo a publicação científica em acesso aberto no Brasil [nota de leitura]”

Ranking Web of Repositories : a mais famosa colocação para os repositórios em acesso livre inclui redes sociais para acadêmicos para conscientizar os responsáveis de repositórios

A nova edição do Ranking Web of repositories  de janeiro de 2015 está disponível com dados de
julho de 2014.  É uma classificação dos repositórios digitais institucionais ou área temática que disponilizam documentos em acesso livre.

Os critérios para aparecer na classificação são muito simples : os repositórios tem que ter um nome de domínio ou sub-domínio próprio e deve incluir pelo menos artigos científicos “peer-reviewed”.

Número de páginas indexadas pelo Google, excluding rich files  (Peso 10%)
visibilidade : combinação (raiz quadrada) entre número de links exteriores indicando uma página do repositório e o número de domínio citantes seguindo dois bancos de dados  dos links : Majestic SEO and ahref. Os 10 domínios mais citantes são eliminados (Peso 25 %)

Altmetrics : Citações das fontes como Academia.edu, Facebook, LinkedIn, Mendeley, ResearchGate, Slideshare, Twitter, Wikipedia (all editions), Wikipedia (English edition),  YouTube and Scribd (novo nesta edição). (Peso: 25%).  nas tabelas os dados são incluídos com “Visibilidade”.

Rich files:  o número dos arquivos em  pdf, doc+docx e ppt+pptx indexados pelo Google  (peso 10%).

Scholar:  Duas variáveis do  Google Scholar são combinadas: o número de documentos publicados no período 2010-2014 (novo período nesta edição) e o número total de artigos. (Peso 30%)

o mais interessante é o aviso sobre ResearchGate, Academia.edu e Mendeley : O Webometrics inclui esses 3 serviços dentro da classificação dos portais, mais avisa que é porque os autores estão colocando publicações deles  dentro desses serviços em vez de colocar em repositórios institucionais. O pouco valor adicionado fornecido pela geração atual das ferramentas de repositório e a incapacidade dos webmasters dos repositórios para fortalecer gestão de perfil e outros parâmetros individuais são responsáveis dessa tendência “unfortunate”.

   O Webometrics quer mostrar as grandes performances desses 3 serviços concorentes para aumentar a consciência. Ele é extremamente necessário para melhorar os repositórios com  orientação para os utilizadores finais (autores) .

topportalsrespositories

Fonte : Webometrics. JANUARY 2015: New edition with updated info. 16th edition! http://repositories.webometrics.info/en/node/25.
Artigo describing the ranking : Aguillo, I.F., Ortega, J.L., Fernández, M., Utrilla, A.M. (2010). Indicators for a webometric Ranking of Open Access Repositories. Scientometrics, 82 (3): 477-486. ( author’s edition in Open Access)

Avaliação pelos pares de conjunto de dados (datasets) : quando, porque e como em geociências ?

Fonte : Mayernik, Matthew S. ; Callaghan, Sarah ; Leigh, Roland ; Tedds, Jonathan . Worley, Steven. Peer Review of Datasets: When, Why, and How. Bulletin of the American Meteorological Society 2014 ; e-View doi: http://dx.doi.org/10.1175/BAMS-D-13-00083.1.

Wikipedia http://en.wikipedia.org/wiki/NASA_World_Wind
Moon – Hypsometric Map layer Wikipedia http://en.wikipedia.org/wiki/NASA_World_Wind

Esse artigo mostra o papel central de avaliação pelos pares (peer-review) no sistema de comunicação cientifica e  como ele pode se aplicar na avaliação da qualidade dos datasets (conjuntos de dados) na área da meteorologia. A questão principal é a aplicabilidade da avaliação pelos pares sobre dados para manter qualidade e aumentar a reutilização deles.

Esse estudo faz parte do projeto PREPARDE (the Peer REview for Publication & Accreditation of Research Data in the Earth sciences) (1).

Muitos jornais tem instruções dizendo  que os dados devem ser disponíveis para cientistas, desde que eles peçam , mais na realidade isso pode ser muito dificil para cumprir. Avaliação pelos pares de dados não é muito bem definida ainda. Tem muitas barreiras como por exemplo, poucos pesquisadores podem avaliar dados e essa atividade pode levar muito tempo.

Os cenários explorados no artigo são :

  1. dados analisados dentro dos artigos científicos tradicionais :

    nessa situação os dados são vistos como um apoio logico para as conclusões do artigo de pesquisa

  2. dados publicados dentro de um jornal cientifico :

    Isso é comum em geociências : um artigo clássico apresenta um novo conjunto de dados. 11 dos 20 artigos mais citados das revista Bulletin of the American Meteorological Society são sobre dados. Esse tipo de « data paper » recebe a mesma avaliação do que os outros artigos de pesquisa, sem instruções especificas.
    A preocupação é de manter a perenidade dos dados e o link entre o artigo descrevendo eles através de parcerias entre bibliotecas e jornais com ferramenta de repositórios de dados (por exemplo http://rda.ucar.edu),  de « persistente identifier » como o DOI e da homogenização dos metadados. Esses link entre repositórios e jornais está crescendo rápido e os atores formam uma comunidade de avaliação de dados.

  3. Dados submetidos dentro de repositórios de dados abertos :

    Em geociências os repositórios de dados são criados para instituições ou para centros nacionais de dados. Esse tipo de avaliação é mais tecnica do que cientifica. Mais a situação esta evoluindo e tem repositórios que exigem uma avaliação do conjunto de dados antes de publicá-los.

    Os repositórios de dados tem expertise para implementar “data managment plan” que ensurre antes do deposito a qualidade e controle dos dados.

  4. Conjunto de dados publicados em data journals :

    Data journals são jornais que vão publicar data papers. Esses artigos vão descrever um conjunto de dados que vai ser disponibilizado dentro de um repositório explicando as condições de processamento, a coleção e formato de arquivos. Data papers são uma etapa para fornecer documentação sobre a qualidade e são também o primeiro passo entre utilisadores e produtores. Eles precisam ser avaliados. O artigo completo analisa três data journals :  Earth System Science Data (Copernicus), Geoscience, Data Journal (Wiley), and Scientific Data (Nature). Ver também o pos nesse blog Publicação dos dados em Data journals.

Avaliação de dados de pesquisa não é ainda bem definida. Portanto definir a qualidade de conjuntos de dados é uma tarefa multi-facetas que envolvem processamentos automáticos e manuais.

Adicionar dados de pesquisa dentro do sistema de publicação e avaliação aumenta o estresse sobre o sistema de publicação cientifica. Mais se é feito com preparação e antecedencia poderá aumentar a confiança aos conjuntos de dados individuais, reforçar o sistema de citação dos datasets e a transparência e traçabilidade dos dados e também das publicações.

1 PREPARDE http://www2.le.ac.uk/projects/preparde

Sobre o artigo “que tem medo do peer-review ?” publicado na revista Science

O fato :

Um artigo falso foi submetido a várias revistas científicas de acesso aberto para avaliação pelos pares. Esse artigo foi aceito pela maioria das revistas em acesso aberto – 157 de 304 revistas para onde o artigo foi enviado. Algumas dessas revistas pertecem a editores internacionais como a Sage e a Elsevier.

O artigo desse escândalo e o seguinte:

Bohannon, John. 4 October 2013. Who’s Afraid of Peer Review? Science :Vol. 342 no. 6154 pp. 60-65.DOI: 10.1126/science.342.6154.60.

O artigo falso decreve uma propriedade anticâncer de uma substância química que os autores dizer ter extraído de uma líquen.

Normalente, esse artigo deveria ser recusado por qualquer um que conhece um pouco de química e de análise de dados. Além disso, o artigo conclui que os resultados não tem muito importância.

O artigo na revista Science descreve e detalha várias práticas das revistas para detectar artigos falsos. E as conclusões são muito interesantes :

Existem revistas Open Access que são predatores do sistema, implementado inicialmente para permitir o acesso livre aos artigos, sem alterar o artigo dos jornais. As maoria dessas revistas não tem a mesma localização do responsável editorial das revistas, o país para pagamento e o editor.

Essas revistas consideradas predatores são conhecidas e listadas por um critério muito claro establicido por Jeffrey Beall, um bibliotecário americano :

Beall’s List: Potential, possible, or probable predatory scholarly open-access publishers.

O DOAJ (Directory of Open Access Journals) é o site de referência com a lista de todas as revistas Open Access. O artigo na Science questiona os critérios do DOAJ e também da lista de Jeaffrey Beall poeque algumas das revistas que aceitaram o artigo estão no diretório da DOAJ e também na lista de Jeaffrey Beall. Veja a figura abaixo.

Peer review reviewed. Few journals did substantial review that identified the paper's flaw

Peer review reviewed. Few journals did substantial review that identified the paper’s flaw”CREDIT: C. SMITH/SCIENCE” http://www.sciencemag.org/content/342/6154/60/F3.expansion.html

 

O mais interessante ainda são alguns dos comentérios nesse artigo :

O Jean-Claude Guedon, um dos iniciadores do movimento  Open Access e que também assinaou a Declaração  de Budapest, em feivero de  2002, [1] diz que os pesquisadores tem cada vez muita pressão para publicar, « publish or perish ».  As revistas Open Access cobram dos autores os custos da publicação, APC (Article Publication Charge) e esses são uma parte pequena dos meios para a difusão dos artigos de acesso livre. JC Guedon acredita que os gorvenos poderiam organisar um sistema de avaliação dos artigos cientificos para que retirar esse papel das mãos das sociedades privadas e comercias.

A OASPA (Open Access Scholarly Publishers Association) foi criada para manter o nível da qualidade na revistas de acesso aberto e, lembrou que, a associação fez uma comunicação sobre esse artigo por uma comunicação e que tem regras rígidas para se entrar na associação. A associação monstrou algumas reservas quanto ao fato do artigo falso não ter sido submetido às revistas tradicionais (o editor chefe da Science também monstrou essa limitação) e sobre os critérios adotados por Beall e o DOAJ para selecionar as revistas. O artigo falso foi enviado princilpameente para  revistas de baixa qualitade. A associação tem interesse em usar os dados da pesquisa do artigo da Science para elaborar mais algumas conclusões e verificar a existência de editores na associação que possam ser incriminados.

Outras observações pertinentes, são os commentários de 4 de outubro feitos por  Audrey  na declaração da OASPA embora não menciona um caso anterior de submissão de artigo generado automaticamente pelos sites Mathgen ou Scigen e enviado para revista tradicionais. O artigo de Bohannon na revista Science falta refêrencias  de casos antigos de artigos falsos submetidos.

A COPE Comittee On Publication Ethics  também escreveu  sobre o artigo de Bohannon [3]. Na parte construtiva  do documento, a COPE lembra da suas diretrizes quanto à avaliação pelos pares e monstra a sua intenção de olhar mais profondamente o funcionamento da avaliação dos editores que pertencem a COPE. “journals or publishers who do not share COPE’s values have no place as members”. diz o documento.

No meu trabalho como profisional da informação, observei que na área de Ciências para a Vida, existem revistas de acesso aberto com comportamento fraudulento que prejudicam muito o movimento de acesso aberto.  Os pesquisadores costumam receber solicitações por e-mail para fazer parte da equipe editorial dessas revistas, avaliar os artigos e publicar. É necessário que os pesquisadores fiquem alertas e reconheçam rapidemente a qualidade de revistas novas.

[1]  Open Access du rêve au cauchemar ? l’avis de J-C Guédon. interview par  Sylvestre Huet, journaliste à Libération
http://sciences.blogs.liberation.fr/home/2013/10/open-access-du-r%C3%AAve-au-cauchemar-bis.html

[2] OASPA has published a statement in response to this article : http://oaspa.org/response-to-the-recent-article-in-science/

[3] COPE response to Science paper submission of fake paper, by Virginia Barbour, on behalf of COPE council. http://publicationethics.org/news/cope-response-science-paper-submission-fake-paper-virginia-barbour-behalf-cope-council

O fator de impacto da revistas brasileiras em relação a temática

O site Agência FAPESp http://agencia.fapesp.br/15874 analisa  os fatores de impactos (FI) 2011 das revistas brasileiras  incluidas no Journal Citation Report atualizado 2012, a ferramenta que coleta os FI do Thomson Reuters.

Seguindo a Agência Fapesp, dezesseis títulos brasileiros apresentam fator de impacto 1 ou maior na edição para “Ciência” em 2011, três dos quais publicados por unidades da Universidade de São Paulo (USP). A grande maioria dos jornais tem conteúdo publicado e disponível gratuitamente na biblioteca eletrônica SciELO (Bireme/FAPESP).

Portanto,  o fator de impacto nao têm muito signifacação sem analisar a posição (ranking) das revistas dentro da subject category (categoria temática) onde o jornal esta identificado.

Por exemplo, a revista Memórias do Instituto Oswaldo Cruz tem um FI de 2.147 em 2011.Esta revista esta indexado em dois subject categories (SC) : Parasitology e Tropical Medecine (fonte Journal of Citation Report)

a revista dentro do JCR

Tem 178 Subject Categories. Em baixo uma parta da lista da SC “Tropical Medecine”

Cada Subject Category e diferente pelo numero de revistas et pelo FI da revista que esta no primeiro lugar. A Subject category Parasitology tem 33 revistas , o melhor FI dessa SC e 13,5 (CELL HOST MICROBE). O ranking da revista brasileira e 16/33.

A SC Tropical Medecine tem 20 jornais e o ranking da revista brasileira e de 7. A revista com o maior FI em Tropical Medecine e PLoS Neglected Tropical Disease com um FI de 4,716.

Outro exemplo : A Revista “Anais da Academia Brasileira de Ciências” esta no rank 10,  com um FI de 1.094, na classificação da Agência Fapesp. Portanto  esta na SC Multidisciplinary Sciences (com revistas prestigiosas : Nature, Science e PNAS) e esta na rank 15 /55.

Como comparar revistas que estão presentes nas SC diferente ? o FI Box Plot

O FI Box Plot usa uma metodo estatistica de  distribuição dos Fatores de Impacto ds jornaais para todas as revistas da SC. A linha horizontal, que forma a parte superior da caixa é o percentual 75. A linha horizontal que forma o fundo é o percentual 25. A linha horizontal que intercepta a caixa é o Fator de Impacto da mediana para a SC. A cruz representa o valor médio.
As linhas horizontais acima e abaixo da caixa representam valores que não são mais do que 1,5 vezes  do distância interquartil, que é o intervalo  de valores entre os percentuais 25 e  75. Estas linhas são comumente referidas como  “whiskers”  (bigodes). O redondo representa um  ” outlier” que é uma valor maoir o menor que os extremos indicados para  os “whiskers”.

A figura seguinte do site JCR monstra os percentuaiss e os elementos definidos.

box plot

A figura seguinte monstra Os box plot para os dois SC onde a nossa revista e indicada.

A revista se classifica acima da valor da mediana e esta no quartile Q2 para os dois SC. Mais uma revista pode pertencer as ate quatro SC et ter possição bem differente entre cada SC.

Então nao e correto classificar oas revistas em funcão do fotores de Impacto e seria muito interessante analisar todas as revistas brasileiras com o JCR. para ver a posicão no quartile do box plot.

[1] JCR Journal Citation Report é a ferrementa do Thomson Reuter para analisar as citações da revistas  cintificas. o JCR tem dois edições separadas para “Ciência” e “Ciências Sociais”, reúne 10.677 periódicos de 2.552 editores em 82 países. Um total de 528 títulos receberam fatores de impacto pela primeira vez. (Agência Fapesp)

[2] Para mais informação sobre o box plot : Magri, M.-H. and Solari, A. 1996. The SCI journal citation reports: a potential tool for studying journals? Scientometrics 35: 93–117. http://dx.doi.org/10.1007/BF02018235

O que os cientistas acham sobre o fator de impacto ?

Esse estudo e uma analise de 1704 pesquisadores de 86 paises diferentes  sobre a percepção do fator de impacto.

O fator de impacto (FI) e uma medida criada por Eugene Garfield em 1955. Esta  ligada a cada jornal cientifico presente no banco JCR (Journal Citation  Report do Thomson Reuters) para avaliar o impacto do jornal através das  citações dos artigos.

Em termos matemáticos, em um dado ano o FI de um periódico é calculado como o número médio de citações dos artigos que foram publicados durante o biênio anterior (wikipedia)

Por exemplo o jornal Memorias do Instituto Oswaldo Cruz tem o fator de impacto de 2010 de 2.058

Citações em 2010 dos artigos publicados em 2009 (504) e 2008 (276),
total = 780
Numero de artigos em 2009 (231) e 2008 (148) , total = 379

Fator de impacto (FI) = 780/379 = 2.058

Não tem correlação entre o fator de impacto de um jornal e o numero de  citações de cada artigo desse jornal

O FI e muito usado, não sempre da melhor maneira, para o ranking da  importância dos jornais no mundo acadêmico com a avaliação dos projetos, das instituições e dos laboratórios.

O FI tem desvantagens importantes que são listada na tabela 1 do artigo  : Entre elas , lingua de publicação, temática da pesquisa, limite nos 2  anos unicamente, tipo de artigo (review article) , período no ano, leva  em consideração unicamente o banco de dados Web of Science,  self-citações. Mais alem dessas imperfeições, ele e a melhor metrica  para a avaliação dos jornais.

Os resultados mostram que :
– o uso do FI para avaliação e considerado “importante”,
– tem diferencas entre temáticas : Agricultura, silvicultura e da pesca é
o campo de conhecimento com a opinião mais positiva sobre o FI e  Matemática e estatística é o campo com a opinião mais negativa, embora,
-também tem diferencas as regioes : a Asia, a Africa e a América do sul  estão considerando o FI mais importante que a Europa, A América do Norte  ou a Austrália.

Os resultados mostram correlação positiva entre a importância do FI para a politica de avaliação nos países dos participantes e a  opinião deles  sobre o FI.

Surpreendentemente, há uma correlação negativa entre  o número de artigos publicados pelos pesquisadores entrevistados e sua  opinião sobre o FI.  Quanto mais artigos eles têm, menos eles acreditam que o FI é uma boa métrica. Uma das explicações possíveis para este resultado  poderia ser o fato de que os cientistas mais produtivos não precisam mais da métrica.

Em geral as respostas mostram um situação “nem positiva, nem negativa “.  A reposta mais evidente e que os entrevistados acham o IF útil para a avaliação das revistas.

Fonte : Buela-Casal, Gualberto and  Zych, Izabela. 2012. What do the scientists  think about the impact factor? Scientometrics. Feb 2012 -Online First.  DOI: 10.1007/s11192-012-0676-y
http://www.springerlink.com/content/mk1w6m8117kl374n/
outro artigo importante : Vanclay, J. K. (2012). Impact factor: Outdated artefact or stepping stone to journal certification? Scientometrics/. doi:10.1007/s11192-011-0561-0 <http://dx.doi.org/10.1007/s11192-011-0561-0>.