La impactitis: el síndrome del alto índice de impacto

Por Francisco R. Villatoro, el 12 mayo, 2015. Categoría(s): Bibliometría • Ciencia • Peer Review (Revisión por pares) • Recomendación • Science ✎ 17

Dibujo20150512 super-journals - very high impact factors - Photograph Ben Broomfield - scientist carrying journals

La ciencia actual presenta una serie de síntomas y signos característicos de un síndrome. Todos concurren en tiempo y forma, pero sus causas son variadas. Muchos científicos, sobre todo los jóvenes, están siendo evaluados al peso, por su número de publicaciones en revistas de alto índice de impacto. Carlton M. Caves ha bautizado este síndrome del alto índice de impacto (HIFS) como la impactitis. ¿Hasta cuándo padecerá la ciencia este síndrome?

Más información en Carlton M. Caves, «High-impact-factor Syndrome,» APS News, Nov. 2011; Reinhard Werner, «The focus on bibliometrics makes papers less useful,» Nature News, 13 Jan 2015; Mohamed L Elsaie, Jenna Kammer, «Impactitis: The impact factor myth syndrome,» Indian J. Dermatol. 54: 83-85, 2009; doi: 10.4103/0019-5154.48998.

Cuando Eugene Garfield e Irving Sher crearon el índice de impacto (también traducido como factor de impacto, del inglés impact factor) en la década de los 1960 nunca soñaron con que sería tan popular que cambiaría la manera de hacer ciencia en el siglo XXI. Ahora mismo casi nadie hace ciencia por el progreso científico como tal. Casi todo el mundo busca un impacto cuantificable mediante el índice de impacto. Mucha gente es consciente de que este índice bibliométrico está sesgado y no permite discernir la calidad de un trabajo científico. Sin embargo, a nadie parece importarle. Garfield, a sus 89 años, ha pasado a la historia de la ciencia como el virus que causó la impactitis.

Dibujo20150512 journal citation reports - impact factor - physical review letters - isi wok - thomson reuters

Quizás no eres científico y no sepas lo que es el índice de impacto. Toma una revista, por ejemplo, Physical Review Letters (PRL). Su índice de impacto de 2013 se calcula tomando el número de todos los artículos publicados en 2013 que citan a artículos de PRL publicados en 2011 y 2012, y dividiéndolo entre el número total de artículos publicados por PRL en 2011 y 2012. En estas cuentas sólo se usan los artículos publicados en revistas que aparezcan en el Web of Science de Thomson Reuters. Como los 7037 artículos publicados por PRL entre 2011 y 2012 han sido citados 54382 veces en el año 2013 resulta que su índice de impacto JCR 2013 es de 7,728. ¿Qué tiene que ver esta cuenta con la calidad de un artículo concreto elegido al azar en PRL? Cientos (casi 350) artículos de PRL en 2011 y 2012 nunca han sido citados (hasta ahora). ¿Tienen la misma calidad que el más citado (que supera las 600 citas)?

Dibujo20150512 journal ranking - journal citation reports - physical review letters - isi wok - thomson reuters

¿Debe evaluar la calidad de un investigador un programa de ordenador que sólo mire el índice de impacto de sus publicaciones? Más aún, ¿para evaluar la calidad de un artículo científico hay que leérselo? ¿Hay que leer al menos el resumen? ¿Basta con leer sólo el título? Mucha gente cree que basta con el nombre de la revista en la que ha sido publicado. El nombre de la revista, su prestigio, es garantía de calidad. Más aún, ni siquiera importa el prestigio histórico de la revista, basta el índice de impacto que tuvo el año que se publicó el artículo. Patológico. Sin lugar a dudas un síndrome. La impactitis está afectando gravemente a la ciencia.

Dibujo20150512 impact factor evolution - journal citation reports - physical review letters - isi wok - thomson reuters

Dibujo20150512 impact factor evolution - journal citation reports - acta crystallographica - isi wok - thomson reuters

En Medicina es más fácil diagnosticar una enfermedad que curarla. Lo mismo pasa con la ciencia. Mi objetivo no es ofrecer soluciones sino buscar la reflexión colectiva. Todos debemos reflexionar sobre lo que queremos, tanto los científicos, como el público en general. Encajar toda investigación en el molde de las revistas de alto impacto debilita la ciencia. Las modas del momento priman sobre la ciencia relevante. Si un cristalógrafo publicó en Acta Crystallographica A en 2008 en lugar de en 2009, o en 2011 en lugar de 2010, se dará con un canto en los dientes. ¿De verdad su trabajo hubiera sido mejor publicado en una revista con índice de impacto de 50 en lugar de 2?

Physical Review Letters se separó de Physical Review (PR) con la intención de facilitar la publicación rápida de anuncios breves de futuros artículos, que hasta entonces se recibían como cartas al editor de Physical Review que las seleccionaba sin revisión por pares. Ahora muchos artículos que se publican en PRL nunca ven la luz en versión extendida en una de las seis PR (en concreto PRA, PRB, PRC, PRD, PRE o PRX). Publicar un buen resumen de una investigación es más difícil que publicarlo con todo lujo de detalles. Pero también es más fácil engañar a los revisores cuando se omiten gran número de detalles (con la excusa de que así lo obliga el formato de Letter).

Espero que esta entrada te haga reflexionar. Y si padeces de impactitis, no te preocupes, nos pasa a todos.



17 Comentarios

  1. El impacto en absoluto puede medir la calidad de artículos individuales, pero creo que da información útil sobre el conjunto de la producción científica de un investigador. Si, por ejemplo, un investigador tiene todos sus artículos en el Q3 (es decir, impacto medio-bajo) podemos deducir con pequeño margen de error que sus trabajos no son de gran relevancia.

    Me parece en conjunto un dato muy significativo, pero no debería ser el único. Creo que se le debería dar tanta importancia o más a las citas recibidas (siempre que no sean autocitas).

    Sobre si hay que leerse un artículo para decidir si es bueno, creo que es mejor que no se lo pongamos tan difícil a los evaluadores si queremos que hagan su trabajo en un tiempo razonable. Porque esa es la madre del cordero: el impacto no se busca para aparentar, sino para conseguir financiación.

  2. Usar la cantidad de citas que recibe un artículo como criterio para medir su calidad es algo muy pop, de modo que se retroalimenta a sí mismo: cuando a un autor, revista o institución le sube el índice de citas recibidas empieza a tener más visibilidad, con lo que esto repercute en más citas que aquellos que son menos leídos. Esto hace que la ciencia se parezca cada día más a Beberly Hills.

    Por otro lado, si yo quiero que mis artículos sean muy citados, no me interesa conocer aquellos artículos que ya reciben muchas citas, porque no voy a aprender de ellos nada que el resto no sepa ya. Lo que me va a beneficiar es conocer y leer aquellos artículos que logran que quienes los citan tengan muchas citas. Es decir, necesitaré saber el número de artículos que citan los artículos que citan cada artículo y elegir el que tenga mayor número de citas «de segunda generación».

  3. En el denominador, la fracción que genera el FI contiene el número de artículos publicados por la revista en cuestión en los 2 años inmediatamente anteriores.
    Igualmente en el ejemplo de Acta Criystalogr… aunque hay diferencia de mas de 4 puntos en sus FI de dos años consecutivos, la diferencia no es de 50 a 2 como la redacción del parrafo parece que da a entender.
    Por todo lo demás gracias por este y anteriores posts sobre el tema.

  4. No ha sido correcto mi segundo comentario respecto a Acta Crystallographica. En el movil no vi bien la grafica con el acusadisimo descenso entre el FI 2010 y 2011. Lo he miradocen el Pc y es efectivamente asi; algo por lo demás poco habitual este descenso tan grande en el número de citas a los artículos publicados en la revista??? Podria alguien explicarlo?
    Disculpe. Gracias de nuevo

  5. Hay que seguir dando la matraca con esto, así que gracias por el post. Yo también hice mi parte en Nada es Gratis hace tiempo, más de dos años, ya, que horror: http://nadaesgratis.es/anxo-sanchez/el-impacto-del-papel-couche-en-la-ciencia (y ya citaba el tuyo de las manipulaciones).

    En cuanto a remedios, como bien dices es complicado. Yo me he adherido a la Declaración de San Francisco (http://www.ascb.org/dora/) y acaba de salir (curiosamente en Nature) el llamado Manifiesto de Leiden sobre lo mismo (http://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351). Luego es difícil llevar estas cosas a la práctica pero hay que intentarlo.

    Al final, creo que solo un sistema basado en arXiv.org pero añadiéndole referatos abiertos y permanentes nos puede librar de la tiranía del índice de impacto. Eso, y una acción decidida de científicos y financiadores. De momento, lo dicho, sigamos dando la matraca.

  6. Mi intención con este mensaje es simplemente contribuir al conocimiento de la historia de la “impactitis” como enfermedad, que ya tiene un largo recorrido y a cuya etiología, patogenia, epidemiología, diagnóstico y terapia tanto hemos coadyuvado los científicos españoles; y de camino reproducir una descripción de cómo cursa dicha enfermedad en la comunidad científica.

    Los primeros que ya lanzaron una advertencia seria de cómo la bibliometría, con el impact factor como vara de medir el éxito científico, podía transmutarse en una enfermedad fueron los maestros López Piñero y Terrada en 1990 en una serie de cuatro artículos publicados en Medicina Clínica que llevaban por título “Los indicadores bibliométricos y la evaluación de la actividad médico-científica”, arrancando el primero de ellos con el significativo subtítulo ”Usos y abusos de la bibliometría”. Los artículos aparecieron no por casualidad en 1992; y es que en 1989 en España se instituía la CNEAI, se creaban los sexenios de investigación para evaluar el rendimiento de los científicos españoles, y se consagraban los índices bibliométricos y los recuentos de citas como criterios preferentes en la evaluación de los científicos.

    No es de extrañar que este caldo de cultivo llevara al Doctor Camí, al que considero el primero que registró la enfermedad, acuñando el término de “impactolatría” para referirse a ella (Impactolatría, diagnóstico y tratamiento. Medicina clínica 109 (1997): 515-524). No sé si la condición de farmacólogo le ayudó a intuir los efectos tan nocivos que tenía la nueva droga del impacto y como esta podía derivar en enfermedad mental. Y tenía que ser en una revista de Patología donde se acuñara formalmente el término de impactitis (Van Diest, P J. et al. (2001). Impactitis: new cures for an old disease. Journal of clinical pathology, 54(11), 817-819).

    En 2002, Adam discutía en Nature sobre las fortalezas y debilidades del impact factor y su empleo para evaluar instituciones y científicos (Citation analysis: The counting house. Nature, (2002), 415(6873), 726-729) y yo mismo, junto con otros colegas, constátabamos como estaba afectando su uso a los científicos españoles (Impact factor rewards affect Spanish research
    Nature, 2002,417, 898).

    Pocos años después la enfermedad parece que ya afectaba al corazón, pues los cardiólogos Alfonso, Bermejo y Segovia, prescribían con precisión su diagnóstico y tratamiento (Impactology, impactitis, impactotherapy. Revista Española de Cardiología 2005, 58(10), 1239-1245) y se había extendido por toda España, pues yo mismo con mis colegas volvíamos a insistir en las consecuencias del empleo del impact factor, describiendo las señales de la enfermedad (Impact of the impact factor in Spain. British Medical Journal, 2007 334(7593). http://www.bmj.com/rapid-response/2011/11/01/impact-impact-factor-spain).

    A partir de ahí se han sucedido la publicación de artículos, cartas, editoriales en muchísimas revistas de todas las especialidades sobre el tema, siendo un claro signo de que la enfermedad se propagaba cual virus. Sirvan de botón de muestra los siguientes
    Zwahlen, M., Junker, C., & Egger, M. (2004). Commentary II-The journal impact factor in the evaluation of research quality: villain, scapegoat or innocent bystander? Sozial-und Präventivmedizin/Social and Preventive Medicine, 49(1), 19-22.
    Simons, K. (2008). The misused impact factor. Science, 322(5899), 165-165.
    Wilcox, A. J. (2008). Rise and fall of the Thomson impact factor. Epidemiology,19(3), 373-374.
    Brumback, R. A. (2009). Impact factor wars: episode V-the empire strikes back. Journal of child neurology, 24(3), 260.
    Elsaie, M. L., Kammer, J. (2009). Impactitis: the impact factor myth syndrome. Indian journal of dermatology, 54(1), 83.
    Arribalzaga, E. B. (2009). El factor de impacto: su uso, abuso y mal uso. Rev Argent Cirug, 97, 15.
    Kumar, M. (2010). The import of the impact factor: fallacies of citation-dependent scientometry. Bulletin of The Royal College of Surgeons of England, 92(1), 26-30.
    Fernández, E. (2010). One point one-seven-two: we’ve got the impact factor. Gaceta Sanitaria, 24(4), 272-273.
    Metrics: A profusion of measure. Nature 465, 864-866 (2010).

    Incluso se ha formalizado una solemne declaración que ha tenido bastante eco internacional (La Declaración de San Francisco sobre Evaluación de la Investigación (DORA), impulsada por la Sociedad Americana de Biología Celular (BCSV),)desaconsejando el uso de

    Y dicho esto, aporto mi grano de arena a la descripción de cómo cursa la enfermedad en nuestro país. La impactitis es una enfermedad mental consistente en una alteración de los comportamientos de publicación y citación y que cursa con una obsesión compulsiva en utilizar el factor de impacto como único e incontestable criterio de calidad del trabajo científico. Es una enfermedad que se ha propagado por las instituciones académicas e investigadoras de toda índole y que ha invadido todo el tejido científico y ha contaminado a todos aquellos que participan en el circuito de comunicación científica. Cada día es más frecuente encontrarse en España con:

    – Autores que seleccionan la revista donde publicar tomando como criterio exclusivo el factor de impacto de la revista sin considerar el público y la audiencia a la que se dirige el trabajo; y que se autocitan desmedidamente, intercambian citaciones formando auténticos colegios invisibles con el fin de inflar el impacto de sus publicaciones, u omiten deliberadamente citas a sus “enemigos”.
    – Editores que en su afán de ver indizada su revista en las bases de datos de la Web of Science y en sus Journal Citations Reports se aprestan a manipular las políticas editoriales de sus revistas a la búsqueda de incrementar la repercusión tanto en el medio académico como en los medios de comunicación de masas. Entre las malas prácticas detectadas señalar las siguientes: favorecer la publicación de trabajos que tienen una alta potencialidad de citación (revisiones, artículos metodológicos, trabajos polémicos) o que no computan en el denominador pero sí en el numerador de la fórmula que calcula el factor de impacto (editoriales, cartas y otras secciones varias); recomendar directamente a los autores que citen artículos publicados en la propia revista.
    – Responsables y gestores de instituciones evaluadoras del rendimiento científico que adoptan acríticamente el factor de impacto como único criterio de evaluación bajo el manto de adoptar calificaciones pretendidamente objetivas que hacen innecesarias las valoraciones de calidad de los expertos en cada área y proporcionan una especie de coartada para evitar los debates y enfrentamientos que éstas plantean.
    – Bibliotecarios que utilizan mecánicamente el factor de impacto para decidir qué revistas deben adquirirse o cancelarse, independientemente de las necesidades de los usuarios a los que sirven.

    En definitiva, publicar en o editar revistas situadas en los puestos estelares de los rankings del impact factor de los JCR de Thomson se ha convertido en ese oscuro objeto del deseo que está moviendo los engranajes de la rueda que hace circular a la ciencia española. Da igual que se hayan fundamentado empíricamente las razones de por qué no debe emplearse para evaluar la investigación, o que su propio creador se haya desgañitado en contra de este abuso: el impact factor se ha convertido en ese número que devora la ciencia como lo catalogara Monastersky (The Number That’s Devouring Science. The Chronicle of Higher Education 2007 52(8,)A12)

  7. Como dice Anxo más arriba, hay que seguir dando la matraca.

    Para los burócratas ministeriales el factor de impacto es comodísimo para repartir dinero sin romperse la cabeza. Las universidades se someten indignamente porque necesitan el dinero, en lugar de luchar contra la enfermedad, y propagan la impactitis a todos los niveles, hasta para calcular con una fórmula si un determinado profesor puede o no dirigir una tesis.

    Mi modesta contribución: The scientometric bubble considered harmful, Science and Engineering Ethics, http://doi.org/10.1007/s11948-015-9632-6

    «If we consider academic papers as a kind of scientific ‘currency’ that is backed by gold bullion in the central bank of ‘true’ science, then we are witnessing an article-inflation phenomenon, a scientometric bubble that is most harmful for science and promotes an unethical and antiscientific culture among researchers. (…) If we design a mechanical ecosystem to assess scientific productivity, scientists and publishing venues will adapt to assure their own survival, by developing strategies like Salami Science, self-citation or friend-citation, and so on. (…) Any mechanical feedback system to measure scientific productivity will be pernicious for science in the long term… unless we consider that the goal of science is the survival of adaptable scientists in the Academia ecosystem.»

  8. Una opinión discrepante aquí:
    http://unnombrealazar.blogspot.com.es/2014/05/una-propuesta-de-baremo-para-ayudantes.html

    En España la mayor parte de los procesos de selección de profesorado acaban con la contratación del candidato de la casa. Esto se explica, entre otras razones, por la enorme flexibilidad de las comisiones de selección. Primero se decide a quién se quiere contratar y, después, se ajustan los criterios y ponderaciones.

    Frente a esto, un sistema en el que se otorgue más peso al factor de impacto supone dejar bien claras las reglas del juego y favorecer una selección fundamentada en mayor medida en el mérito. Para aquellos que están arrancando su carrera investigadora, creo que es mejor un criterio lleno de ruido pero explícito, como el factor de impacto, a criterios volátiles y ajustados para contratar a candidatos por su origen. El enfatizar como criterio de valoración la calidad, si bien suena razonable, es dar una libertad que las comisiones, ahora mismo, no están aplicando para reclutar a los más capaces.

    Un saludo.

    1. Estoy de acuerdo con casi todo lo que dices, salvo: «favorecer una selección fundamentada en mayor medida en el mérito».

      El factor de impacto es objetivo (es decir, es medible, fácilmente medible), pero no está demostrado que tenga que ver con el mérito. Salvo el mérito de publicar y conseguir popularidad, lo que lo convierte a la larga en un criterio circular y pernicioso.

      También es «objetivo» un criterio basado en años de permanencia, o cayendo en el ridículo, la estatura o el peso o el color de los ojos. Estamos de acuerdo en que estas medidas no tienen que ver con la calidad del candidato. ¿Tiene que ver el factor de impacto con la calidad científica? Esto es precisamente lo que no se ha demostrado, y en cambio ha sido muy criticado con sólidos argumentos.

  9. Este fenómeno ilustra, por un lado, la mediocridad de la ambición de los científicos., pues uno bien ambicioso aspiraría a hacer historia o pasar a la historia por un descubrimiento relevante, pero uno mediocre sólo aspira a ganar más dinero y en esa mira apunta su estrategia y allí el factor de impacto se torna medular.

    Por otra parte este tipo de efecto «heisenbergiano», en el cual la medición afecta lo medido, está sucediendo en muchos campos a medida que la gerencia por indicadores, la asignación de recursos por indicadores y, en general, la cuantitivización de la administración se vuelve predominante en la sociedad. Los puntos se convierten en el fin per se, como las calificaciones para los alumnos cuyo interés absoluto es el diploma.

  10. Creo que ya se comentó anteriormente por aquí acerca del problema del índice de impacto en revistas como Science o Nature, que además son interdisciplinarias. Está claro que varias disciplinas (e incluso ramas de la misma) utilizan diferentes convenios para citas [citation needed], lo que lleva a que el factor de impacto deba ser ponderado (creo haber leído que, por ejemplo, el número típico de citas en Medicina es mucho mayor que en Astrofísica). En revistas multidisciplinarias, debo medir la importancia de un artículo en Astrofísica sesgada via el índice de impacto por otros artículos en Medicina?
    Y por supuesto, perdón si me falla la memoria!

    1. Asgard, en el JCR cada revista debe ser comparada con otras revistas de su propia área; las revistas multidisciplinarias, como Nature, Science, PNAS, … tienen su propia categoría «Multidisplinary Sciences» y no deben ser comparadas con las revistas de otras áreas. Como es obvio, estas revistas publican artículos sobre astronomía y astrofísica, pero no deben ser comparadas con las revistas de dicha área «Astronomy & Astrophysics». Comparar Annual Review of Astronomy and Astrophysics (que lidera su área con IF 30,7 en el JCR 2016) con Nature (que lidera la suya con IF 40,1 en el JCR 2016) no tiene sentido desde el punto de vista bibliométrico.

      Por cierto, para la mayoría de los astrónomos y astrofísicos, Nature tenía reputación de «mala» revista que publicaba artículos «dudosos» (pero mediáticos) en astronomía y astrofísica (quizás ahora está cambiando, pero esa era (de hecho, es) la opinión de la mayoría de los que yo he consultado); aunque todos quieren publicar en Nature y Science hasta el punto de que la SEA (Sociedad Española de Astronomía) publicó el libro «Astronomía Made in Spain» (2009) recopilando una breve historia de todos los primeros autores españoles de artículos publicados en Nature y Science en el área hasta el año 2007.

Deja un comentario