No seas anumérico, usa la distribución de citas en lugar del índice de impacto

Por Francisco R. Villatoro, el 4 julio, 2018. Categoría(s): Bibliometría • Ciencia • Factor de impacto (Impact factor) • Noticias • Recomendación • Science ✎ 7

Los divulgadores nos quejamos a veces de que el público general es anumérico. Sin embargo, olvidamos que los científicos también lo somos muchas veces. El índice (o factor) de impacto de una revista es solo un número, nada más. Decidir que una revista es mejor que otra comparando solo sus índices de impacto es anumerismo puro. Lo mismo pasa con el índice h de un investigador. Decidir que un investigador es mejor que otro comparando solo sus índices h también es anumerismo en su esencia. Y pasa lo mismo con cualquier otro índice bibliométrico. No se deben comparar revistas o investigadores usando un solo número. Siempre hay que usar toda la información disponible. Todos debemos realizar un esfuerzo para evitar lo más fácil, caer en el anumerismo.

Clarivate Analytics ha decidido, por primera vez, incluir el histograma de citas en el JCR 2017. En la figura aparece el de la revista Nature, que tiene un índice de impacto de 41.6, habiendo publicado 1782 artículos entre 2015 y 2016 que han recibido 74 090 citas en artículos publicados en 2017 (solo en revistas del Web of Science). Los anuméricos pensarán que un artículo en Nature recibirá en media unas 40 citas, sin embargo, el histograma muestra que la mediana es de 25. De hecho, hay más de 600 artículos que solo han recibido una cita y casi 1300 de casi 1800 que han recibido cinco o menos citas. Por supuesto, también hay 326 artículos que han recibido más de 50 citas (cuyo efecto sobre el índice de impacto es muy importante).

La distribución de citas nos ofrece información relevante para desvelar el origen del índice de impacto de una revista. En algunas, lo que más influyen son los pocos artículos con un gran número de citas; en otras, las citas a artículos de revisión. Por desgracia, todos somos anuméricos y solo nos fijamos en el índice de impacto (que en el JCR se publica con tres decimales, otra muestra de anumerismo, pues muy pocas revistas publican decenas de miles de artículos al año). En el JCR se publican otros índices bibliométricos (unos quince índices y varios histogramas), pero como muy pocas revistas hacen públicos en su web estos datos, todos acabamos usando solo un único número, el índice de impacto.

Estaría muy bien que todas las revistas publicaran en su web toda la información bibliométrica recabada por Clarivate Analytics. Así los anuméricos nos acostumbraríamos a luchar contra el anumerismo de la evaluación científica. Nos lo recomienda Stephen Curry, «Ready-made citation distributions are a boost for responsible research assessment,» Reciprocal Space, 01 Jul 2018; que se alegra de que haya sido oída su propuesta en Vincent Lariviere, Veronique Kiermer, …, Stephen Curry, «A simple proposal for the publication of journal citation distributions,» bioRxiv, 11 Sep 2016, doi: 10.1101/062109. El anuncio oficial de los histogramas de citas en «Clarivate Analytics Releases Enhanced 2018 Journal Citation Reports Highlighting the World’s Most Influential Journals,» Clarivate Analytics, 26 Jun 2018.

Curry nos propone una curiosa idea, con el leitmotiv «yo no soy mi índice h (o los índices de impato de mis revistas» («I am not my h-index (or my JIFs)»). Publicar en nuestros propios curriculum vitae el histograma de citas de nuestros artículos, decorado con información que destaque nuestros cinco o seis artículos más relevantes (en nuestra opinión). Recabar esta información usando Google Scholar o el Web of Science es fácil y la información adicional que se aporta puede ser muy interesante para quien evalúe nuestra investigación (ahora que están tan de moda en España los CV abreviados).

No sé qué te parece la idea. Quizás pienses que es mucho mejor seguir siendo anumérico y usar un único número (sea el índice de impacto o el índice h); el trabajo de interpretar histogramas de citas quizás es demasiado pesado. Lo dejo a tu elección, pero a mí me ha gustado la idea de Curry.



7 Comentarios

  1. Aquí dejo un ‘Teorema’:

    «Cualquier persona que tenga un ‘criterio bien formado’ sobre el orden de preferencia de las diferentes revistas científicas es anumérico (con respecto a algún índice que reduce cualquier revista a un sólo número)»

    Entendemos que un ‘criterio bien formado’ consiste en una relación de preferencia (de las diferentes revistas) que satisface transitividad, completitud, el axioma de continuidad y el de independencia.

    Demostración: Aplicando el Teorema de la utilidad esperada, la relación de preferencia puede ser representada por una función de utilidad de Neumann-Morgenstern, que asignará a cada revista un único número (índice). En conclusión, la persona en cuestión es anumérica para dicho índice.

    Corolario: Si cada revista se identifica con su distribución de citas (lotería), el índice en cuestión es una combinación lineal de los diferentes números que componen la distribución de citas.

    En conclusión, la discusión debería centrarse en cuál es el índice más apropiado (factor de impacto, índice h o cualquier otro aún no definido)

    Un saludo, Felipe

    Referencias:
    [1] https://goo.gl/v1UWyJ
    [2] https://goo.gl/QEF3fN

    PD: Me encanta el blog

  2. Pues mientras el criterio para darte una beca sea el promedio de tu carrera, para darte un trabajo (posdoc o plaza) sea el número total de artículos que tienes hay que seguir siendo anumerico. Cuando pides un trabajo ni siquiera miran la posición en la que vas en los artículos. Y se lo dan a gente con 30 pero siempre en último lugar y dejan fuera a gente con 10 pero siempre de primero o único autor. Es más fácil mirar solo un número que hacer un histograma de la posición de un autor en los artículos. Y con el índice H idem, Mucha gente tiene muchas citas que o son autocitas o son citas negativas, pero eso les acumula. Y ni se paran a analizar y quitar cuántas de esas tiene un autor…

  3. Más allá de la, ya de por sí, mala premisa de medir la calidad de un científico o una publicación por el número de publicaciones o citas, como si la buena ciencia fuese un concurso de popularidad, reconozco que puestos a emplear el índice de impacto no me parecía mal una cifra única. Pero admito también que porque desconocía cómo se calculaba, creía que sería un algoritmo bastante más complejo.

    Desde mi humilde opinión, viendo el histograma, yo cambiaría totalmente el planteamiento: un eje Y de frecuencia (como está), pero un eje X no con Nº de citas por año, sino con Nºcitas por año y artículo. Es decir, artículos con 0/año, con 1/año… hasta los de >50/año que figuran ahora, y en altura el número de artículos que haya en cada categoría, y de este modo no exagerar el peso de publicaciones que puedan tener muchas citas por su mayor número de artículos, frente a otras donde puede pesar más la calidad y publicar unos pocos muy citados.

    Respecto al índice de impacto, lo calcularía multiplicando el valor actual (Nºcitas anuales/Total de artículos) por un factor corrector que tenga en cuenta la forma de ese histograma. Por ejemplo, su pendiente, pues tendría sentido que cuanto más positiva fuese la pendiente mejor se valorase la revista, pues hablaríamos de cantidades crecientes de artículos muy citados.

        1. Cierto, supongo que se refiere a SCIE y SSCI, que no son disjuntos. Yo suelo agruparlos en un único JCR pues no me gusta la distinción entre “ciencias” y “ciencias sociales”. Pero para quienes las separan son dos JCR bien separados.

Deja un comentario