Estatísticas de citações

Robert Adler, John Ewing, Peter Taylor

Resumo


Este artigo é um relatório acerca do emprego e uso de citações na avaliação de pesquisas científicas. A idéia de que a avaliação da pesquisa deve ser feita empregando métodos “simples e objetivos” é cada vez mais prevalecente hoje no mundo acadêmico, o que tem gerado uma “cultura de números”, sustentada no pressuposto de que tais avaliações são mais precisas e buscam superar julgamentos subjetivos da revisão por pares. No entanto, tais considerações são analisadas por profissionais que “lidam com números” – os matemáticos e os estatísticos. A convicção nas estatísticas deixa de ter fundamento quando estas são mal aplicadas ou mal interpretadas, como pode ocorrer no caso de uso de estatística para classificar periódicos, documentos, pessoas, programas e disciplinas. Os autores chamam a atenção para a objetividade ilusória dos números e para o fato de que a avaliação baseada em dados de citações pode fornecer uma visão limitada, superficial e incompleta da qualidade da pesquisa.


Palavras-chave


Avaliação; Fator de impacto; Índice H; Pesquisa científica.

Texto completo:

PDF

Referências


ADLER, Robert. The impact of impact factors. IMS Bulletin, Vol. 36, No. 5, p. 4, 2007. http://bulletin.imstat.org/pdf/36/5

AMIN, M.; MABE, M. Impact factor: use and abuse. Perspectives in Publishing, n. 1, Outubro, pp. 1-6, 2000.

BATISTA, Pablo Diniz; CAMPITELI, Monica Guimaraes; KINOUCHI, Osame; MARTINEZ, Alexandre Souto. Universal behavior of a research productivity index. arXiv: physics, v.1, pp. 1-5, 2005. arXiv:physics/0510142v1

BATISTA, Pablo Diniz; CAMPITELI, Monica Guimaraes; KINOUCHI, Osame. Is it possible to compare researchers with different scientific interests?. Scientometrics, vol 68, n. 1, pp. 179-189, 2006. http://dx.doi.org/10.1007/s11192-006-0090-4

BERGSTROM, Carl. Eigenfactor: masuring the value and presitige of scholarly journals. College & Research Libraries News, vol 68, n. 5, May 2007.

BEST, Joel. Damned lies and statistics: untangling the numbers from the media, politicians, and activists. University of California Press: Berkeley, 2001.

BIRD, Sheila; et al. Performance indicators: good, bad, and ugly; Report of a working party on performance monitoring in the public services. J.R.Statist. Soc. A, 168, Part 1, pp. 1-27, 2005.

BROOKS, Terrence. Evidence of complex citer motivations. Journal of the

American Society for Information Science, vol 37, n.. 1, pp. 34-36, 1986.

CAREY, Alan L.; COWLING, Michael G.; TAYLOR, Peter G. Assessing research in the mathematical sciences. Gazette of the Australian Math Society. Vol. 34, n. 2, maio, pp. 84-89, 2007.

COZZENS, Susan E. What do citations count? The rhetoric-first model.

Scientometrics, Vol 15, Nos 5-6, pp. 437-447, 1989.

EGGHE, Leo. Theory and practice of the g-index. Scientometrics, vol. 69, n.1, pp. 131-152, 2006. http://dx.doi.org/10.1007/s11192-006-0144-7

EVIDENCE REPORT. The use of bibliometrics to measure research quality in the UK higher education system, 2007. [Um relatório produzido para a Research Policy Committee of Universities (Comissão Universitária de Política de Pesquisa), Reino Unido, por Evidence Ltda., uma empresa especializada em análises e interpretação de desempenho de pequisa. Evidence Ltda. tem “aliança estratégica” com a Thomson Scientific.]

EWING, John. Measuring journals. Notices of the AMS, vol. 53, n. 9, pp. 1049-1053, 2006. http://www.ams.org/notices/200609/comm-ewing.pdf

GARFIELD, Eugene. Citation indexes for science: A new dimension in

documentation through association of ideas. Science, 122(3159), p.108-11, julho, 1955. http://garfield.library.upenn.edu/papers/science1955.pdf

______. Citation analysis as a tool in journal evaluation. Science, 178 (4060), pp. 471-479, 1972.

______. Why are the impacts of the leading medical journals so similar and yet so different? Current Comments #2, p. 3, 12 de janeiro, 1987.

______. Long-term vs. short-term journal impact (part II). The Scientist

(14):12-3, 6 de julho, 1998.

______. Agony and the ecstasy – the history and meaning of the journal impact factor. Presented at the International Congress on Peer Review and Bibliomedical Publication, Chicago, 16 de setembro, 2005.

GOLDSTEIN, Harvey; SPIEGELHALTER, David J. League tables and their

limitations: Statistical issues in comparisons of institutional performance. J. R. Statist. Soc. A, 159, n. 3, pp 385-443, 1996.

HALL, Peter. Measuring research performance in the mathematical sciences in Australian universities. The Australian Mathematical Society Gazette, vol. 34, n. 1, pp. 26-30, 2007.

HIRSCH, J. E. An index to quantify an individual’s scientific research output. Proc Natl Acad Sci USA, vol. 102, n. 46, pp. 16569-16573, 2006. KINNEY, A. L. National scientific facilities and their science impact on nonbiomedical research. Proc Natl Acad Sci USA, vol. 104, n. 46, pp.

LEHMANN, Sune; JACKSON, Andrew D.; LAUTRUP, Benny E. Measures for measures, Nature, vol 444, n. 21, pp. 1003-1004, 2006.

MACDONALD, Stuart; KAM, Jacqueline. Aardvark et al.: quality journals and gamesmanship in management studies. Journal of Information Science, vol. 33, pp. 702-717, 2007.

MARTIN, Ben R. The use of multiple indicators in the assessment of basic research, Scientometrics, vol 36, n. 3, pp. 343-362, 1996. http://dx.doi.org/10.1007/BF02129599

MARTIN, Ben R.; IRVINE, John. Assessing basic research. Research Policy, vol 12, pp. 61-90, 1983. http://dx.doi.org/10.1016/0048-7333(83)90005-7

MEHO, Lokman; YANG, Kiduk. Impact of data sources on citation counts and rankings of LIS faculty: Web of Science vs. Scopus and Google Scholar. Journal of the American Society for Information Science and Technology, vol 58, n. 13, pp. 2105-2125, 2007. http://dx.doi.org/10.1002/asi.20677

MOLINARI, J. F., MOLINARI, A. A new methodology for ranking scientific nstitutions. To appear in Scientometrics, 2008. http://imechanica.org/files/paper.pdf

MONASTERSKY, R. The number that’s devouring science. Chronicle Higher Ed. vol. 52, n. 8, 2005. http://chronicle.com/free/v52/i08/08a01201.htm

ROSSNER, Mike; VAN EPPS, Heather; HILL, Emma. Show me the data. Journal of Cell Biology, vol 179, n. 6, 17 de dezembro, pp. 1091-1092, 2007. http://dx.doi.org/10.1083/jcb.200711140

SEGLEN, P. O. Why the impact factor for journals should not be used for evaluating research; BMJ, 314:497, 15 de fevereiro, 1997. http://www.bmj.com/cgi/content/full/314/7079/497

SIDIROPOULOS, Antonis; KATSAROS, Dimitrios; MANOLOPOULOS, Yannis. Generalized h-index for disclosing latent facts in citation networks. V1, arXiv:cs, 2006. arXiv:cs/0607066v1 [cs.DL]

STRINGER, M. J.; SALES-PARDO, M.; NUNES AMARAL, L. A. Effectiveness of journal ranking schemes as a tool for locating information. PLoS ONE 3(2): e1683, 2008. http://dx.doi.org/10.1371/journal.pone.0001683

THOMSON: JOURNAL CITATION REPORTS. 2007. http://scientific.thomson.com/products/jcr/

THOMSON: SELECTION. 2007. http://scientific.thomson.com/free/essays/

selectionofmaterial/journalselection/

THOMSON: IMPACT FACTOR. http://scientific.thomson.com/free/essays/

journalcitationreports/impactfactor/

THOMSON: HISTORY. http://scientific.thomson.com/free/essays/citationindexing/history/

THOMSON: FIFTY YEARS. http://scientific.thomson.com/free/essays/

citationindexing/50y-citationindexing.




DOI: http://dx.doi.org/10.5433/2176-6665.2009v14n1p69

Direitos autorais 2020 Mediações - Revista de Ciências Sociais

Licença Creative Commons
Esta obra está licenciada sob uma licença Creative Commons Atribuição - Não comercial - Sem derivações 4.0 Internacional.

  

         

 

                       

 

 

Mediações - Revista de Ciências Sociais

Londrina - PR

E-ISSN: 2176-6665

Email: mediacoes@uel.br  

Mediações utiliza a licença Creative Commons Attribution 4.0 International