En España, la medida de la calidad de una fuente bibliográfica, revista, congreso, libro, … es el índice de impacto «reconocido» por el Ministerio, básicamente el índice de impacto del ISI de Thomson-Reuters. A nuestros amigos los informáticos de España dicha medida no les gusta. Mucho de lo que publican lo hacen en «congresos buenos» y no en revistas del ISI. Además, las revistas de informática del ISI con mayor índice de impacto no son las revistas de informática con mayor impacto entre los informáticos. Los ejemplos son muchos, pongamos uno de nuestros «amigos» del INRIA francés.

CiteSeer es una base de datos especializada en publicaciones informáticas que se basa en dos procedimientos paralelos: un robot de búsqueda automático (tipo Google) que busca en instituciones/departamentos de informática y un mecanismo de envío de publicaciones directamente por parte de los autores. No sólo hay artículos de informática, también de otros temas. No sólo hay artículos de revistas, sino también congresos (muchos malos, muchos buenos) y libros (monografías de investigación, libros de texto, tesis doctorales, informes técnicos).

Comparemos la clasificación de las revistas de informática en 2003 según el JCR del ISI y la clasificación correspondiente de CiteSeer. La correlación entre ambos es «ridícula.» La primera revista de informática según el ISI (unas 200 en total) es ACM Computer Surveys, que resulta la número 195 según CiteSeer, la segunda según el ISI es Bioinformatics, que ni siquiera aparece en el CiteSeer, la sexta del ISI es la número 958 del CiteSeer. ¿Pequeña diferencia? La primera revista según CiteSeer es ACM Transactions on Computer Systems, que es la número 26 según el ISI, la cuarta de CiteSeer, Computer Networks, es la número 122 según el ISI. ¿Alguna correlación? Fuente: A-M. Kermarrec, E. Faou, J-P. Merlet, P. Robert, L. Segoufin, «Que mesurent les indicateurs bibliométriques?,» Document D’Analyse de la Commission D’Évaluation de L’INRIA, Validé par la Commission d’Évaluation du 12 septembre 2007 .

¿Qué significado tienen dichos datos? Para muchos, que CiteSeer no es tan fiable como ISI. No en valde el JCR del ISI está respaldado por la multimillonario Thomson-Reuters.

Veamos que pasa con el JCR 2007 del ISI y todas las revistas de COMPUTER SCIENCE (7 subjects o clasificaciones diferentes y 382 revistas) comparado con todas las revistas del SciMago SJR y todas las revistas en COMPUTER SCIENCE (775 revistas). Los resultados son similares (donde pone «no está en el SJR-CS significa que SJR no clasifica la revista como informática o que no está en el SJR, indistintamente). 

JCR#1 MIS QUARTERLY 5.826 no está en el SJR-CS
JCR#2 ACM COMPUTING SURVEYS 5.250 es SJR#15 con 0.213
JCR#3 BIOINFORMATICS 5.039 no está en el SJR-CS
JCR#4 VLDB JOURNAL 3.818 es SJR#110 con 0.086
JCR#5 COGNITIVE BRAIN RESEARCH 3.769 no está en el SJR-CS
JCR#6 NEUROINFORMATICS 3.750 no está en el SJR-CS
JCR#7 IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE 3.579 es SJR#16 con 0.197
JCR#8 MEDICAL IMAGE ANALYSIS 3.505 es SJR#13 con 0.249
JCR#9 ACM TRANSACTIONS ON GRAPHICS 3.413 es SJR#17 con 0.184
JCR#10 JOURNAL OF WEB SEMANTICS 3.410 es SJR#38 con 0.141

SJR#1 Molecular systems biology 1.582 no está en el JCR-CS
SJR#2 PLoS computational biology 0.906 no está en el JCR-CS
SJR#3 Proceedings of the Annual International Conference on Computational Molecular Biology, RECOMB 0.385 no está en el JCR-CS
SJR#4 Journal of Chemical Theory and Computation 0.371 no está en el JCR-CS
SJR#5 Digest of Technical Papers – IEEE International Solid-State Circuits Conference 0.361 no está en el JCR-CS
SJR#6 Appl Bioinformatics 0.361 no está en el JCR-CS
SJR#7 Algorithms for Molecular Biology 0.359 no está en el JCR-CS
SJR#8 IEEE Transactions on Medical Imaging 0.291 es el JCR#13 con 3.275
SJR#9 Journal of Biomedical Informatics 0.271 es el JCR#42 con 2.000
SJR#10 International Journal of Computer Vision 0.256 es el JCR#11 con 3.381

Como vemos muchas revistas en el SJR-CS no están en el JCR-CS y las que están en el JCR están muy mal posicionadas.

¿Qué significado tienen dichos datos? Para muchos, que Scimago no es tan fiable como ISI. Aunque Scimago está respaldado por Scopus de la multimillonaria Elsevier.

Lo observado aquí al comparar ISI con otras fuentes (CiteSeer y SciMago JCR) casi con toda seguridad pasaría al compararlo con cualquier otro (CoRR del ArXiv, Google Scholar, etc.).

¿Podemos confiar en el índice del ISI JCR como medida fiable de calidad científica de una revista? ¿Y de una publicación? ¿Y de una propuesta de proyecto de investigación? ¿Y de la carrera académica de un  investigador?