Quién la tiene más larga… la lista de publicaciones, no seáis mal pensados, y quién los tiene más grandes… los índices de impacto de las revistas de sus publicaciones, ¡qué mal pensados sois! Sin embargo, así es como nos miden en el sistema universitario español.

Cada seis años hay que superar una evaluación a nivel nacional sobre la calidad del trabajo investigador (para obtener un pequeño complemento económico llamado sexenios). Hay que destacar 5 publicaciones dentro de nuestro curriculum vitae, las «mejores,» pero en función de qué, de su calidad científica, de lo que nosotros mismos pensemos, … no, ni mucho menos. El autor NO debe decidir cuáles son sus mejores publicaciones. Hay que utilizar «índices de calidad» establecidos. En concreto, que las revistas se encuentren en el JCR del ISI en los primeros puestos. De hecho, se rumorea (no está publicado el criterio) que conceden 3 puntos por una publicación en un revista cuyo índice de impacto se encuentre en el primer tercio, 2 puntos en el segundo y sólo 1 punto en el último tercio.

¿Se puede medir la calidad científica del trabajo de un investigador utilizando sólo «numeritos,» bueno, medidas bibliométricas de «probada» validez estadística? La Unión Matemática Internacional (International Mathematical Union, IMU) acaba de publicar el informe específico sobre este tema «Citation Statistics,» Joint Committee on Quantitative Assessment of Research Citation Statistics, IMU-ICIAM-IMS, corrected version, 12 June 2008 . El informe se resume en una simple frase «Numbers are not inherently superior to sound judgments» (los números no son mejores que un juicio razonable).

Entre las conclusiones del informe me gustaría destacar tres. : (1) usar el índice de impacto de una revista como única medida para valorar una revista es como usar el peso corporal como única medida para medir la salud de una persona; (2) usar el índice de impacto de la revista en la que se publica un artículo, en lugar del número real de citas que ha recibido, es un uso «malintencionado» de dicho índice; y (3) usar un único número (como el índice-h) para resumir el C.V. de un científico, es perder información esencial necesaria para juzgar su trabajo, y sólo beneficia a la agencia evaluadora, que puede sustituir científicos (evaluación por pares) por meros funcionarios (que sepan contar índices de impacto).

El informe está escrito por especialistas en Estadística, quienes afirman que la mayoría de los índices bibliométricos al uso (índice-h y variantes, número de citas, índice de impacto de revistas, etc.) no han sido suficientemente estudiados ni son suficientemente entendidos. Faltan estudios que correlacionen las opiniones de expertos (muy costosas de obtener) con los resultados «fríos» de dichos números. Las comparaciones de tipo una medida numérica versus otras medidas numéricas (la experimentación «barata»)  no permite obtener conclusiones fiables ni una interpretación estadística rigurosa (según los especialistas autores del informe).

El factor de impacto como ranking para revistas

El factor de impacto (F.I.) de una revista es un número «fácil» de calcular. Si una revista tiene un F.I. de 1.5 en 2007 significa que el número «medio» de citas de sus artículos publicados en los años 2005 y 2006 citados en todas las revistas indexadas en el JCR en 2007 es de 1.5. ¿Influye la «ventana» de sólo 2 años? En campos muy «calientes» como las Ciencias Biomédicas, 2 años es más que suficiente. En campos como las Matemáticas, más del 90% de las citas a una revista se realizan con más de 2 años (es decir, en Matemáticas el F.I. sólo «ve» el 10% de la actividad investigadora). Sin embargo, los estudios desarrollados por Thomson Scientific con ventanas de 2, 5 y 10 años indican que el F.I. resultando cambia «poco» en función de la «ventana» usada (salvo para algunas pocas revistas).

Por otro lado, el F.I. cambia muchísimo de una disciplina a otra. En Ciencias de la VIda el número medio de citas de un artículo es mayor de 6. Sin embargo, en Matemáticas e Informática no llega a 1. Más aún, el F.I. también cambia «mucho» de un año a otro, sobre todo en la banda «media» (las revistas en el segundo tercio). Si enviamos un artículo a una revista sólo por su índice de impacto (del año pasado) y dicho artículo se publica el año próximo, con lo que tendrá índice de impacto conocido dentro de dos años, puede que nos llevemos una gran sorpresa, ya que puede haber cambiado «muchos» puestos en la clasificación en su área. ¿Cuál es el F.I. relevante? El de la revista cuando enviamos el artículo. El de la revista cuando sale publicado el artículo. El del año en curso para dicha revista. ¡Pueden variar mucho entre sí!

El número de citas y los índices bibliométricos «de moda»

Parece claro que el número de citas es un buen indicativo de la calidad de un artículo, aunque no todas las citas son iguales. Las hay «de relleno», «críticas», «negativas», «positivas», «retóricas,» etc. Pero, ¿por qué un investigador cita a unos y no a otros? Como pasa en muchos campos de las ciencias sociales y en humanidades, nadie sabe la respuesta. La sociología de las citas es un tópico muy complejo y los estudios empíricos son extremadamente difíciles (hay que «meterse» en la «mente» del citador). Por ejemplo, un estudio de Cozzens (citado en el informe) sobre 3 millones de citas indica que el 30% lo son a libros (que «explican» las cosas) y no a los artículos originales. Muchas de ellas son «retóricas».

De todas formas, parece bastante «establecido» que para evaluar la producción de un investigador necesitamos conocer la distribución de todas las citas a sus artículos, así como las distribuciones promedio de las citas en cada una de las áreas de dichos artículos, con objeto de decidir si el investigador está «en media», es «mejor» que la media o es «peor.»

Desde hace unos pocos años se ha puesto de moda desarrollar nuevos índices bibliométricos que simplifiquen esta labor, reduciendo este análisis estadístico a un sólo número «representativo.» Hay muchos: índice-h, índice-m, índice-g, etc., no entraré en más detalles. Tomemos dos investigadores con índice-h igual a 10. Uno tiene 10 artículos citados más de 10 veces cada uno, nada más. El otro tiene 100 artículos, 10 con más de 10 citas y 90 con menos de 10 citas. ¿Cuál de los dos investigadores es mejor? ¿Cuál es más productivo? ¿Cuál produce artículos de mayor calidad? Por supuesto, dentro de 5 años es de esperar que el segundo supere al primero en índice-h, ¿o no?

La lectura del informe merece la pena y por ello te la recomiendo, sobre todo si eres investigador, aunque no trabajes en Matemáticas. Permitidme una frase como epílogo, visión «sesgada» de una que aparece en el informe: «La evaluación de la calidad de un investigador se debe realizar con un espíritu de colaboración, en lugar de confrontación, nunca con el objetivo de criticar.»

 

Si crees que esta noticia es interesante para otros, Menéala.