El año 2024 será recordado por todos los aficionados al índice de impacto de las revistas científicas. El año pasado (2023) todas las revistas del Web of Science Core Collection™ recibieron índice de impacto (JIF, por Journal Impact Factor), tanto las ya impactadas en 2022 del SCIE (Science Citation Index Expanded™) y del SSCI (Social Science Citation Index™), como las no impactadas del AHCI (Arts & Humanities Citation Index™) y las emergentes del ESCI (Emerging Sources Citation Index™). Pero las revistas AHCI y ESCI no recibieron cuartiles JIF (solo tenían cuartiles JCI, Journal Citation Indicator); por ello, las revistas ESCI y AHCI eran de «segunda clase» comparadas con las SCIE y SSCI. La gran revolución del nuevo Journal of Citation Reports™ (JCR 2024) es que todas las revistas se han metido en el mismo saco; todas las revistas han recibido cuartiles JIF. Esto es una decisión revolucionaria porque cambia el orden de las revistas de forma radical. Por ejemplo, había 107 revistas en la categoría History del SSCI, que eran Q1, Q2, Q3 y Q4; ahora dicha categoría tiene 520 revistas (SSCI+AHCI+ESCI), con lo que hay 130 revistas Q1, luego casi todas las SSCI ahora serán Q1 (un inesperado regalo de Navidad para todos los que publicaron en ellas en el año 2023). Has leído bien, en muchas áreas de ciencias sociales, una revista Q4 en JCR 2023 podría ser Q1 en JCR 2024, sin haber cambiado su índice de impacto de forma significativa. Un cambio revolucionario, lo mires como lo mires; te guste o no te guste, estas son las nuevas reglas de la evaluación científica que Clarivate nos impone.
Los cambios son inesperados y sorprendentes. Por ejemplo, en la categoría Multidisplicinary Sciences, la revista Science con un índice de impacto (JIF) de 44.7 pierde su segundo puesto y pasa a ocupar el tercero. Se lo ha quitado una revista ESCI (que algún día estará en el SCIE), Nature Reviews Methods Primers con un índice de impacto 50.1. Sigue liderando Nature, con 50.5, pero por muy poquito; quizás en el JCR 2025 acabe perdiendo su pole position. Pero lo más sorprendente es que otra revista ESCI, Innovation (de Cell Press) ocupa el cuarto puesto con 33.2. Y hay más sorpresas, las megarrevistas Scientific Reports y PLoS ONE vuelven a ser revistas Q1 (25/134 y 31/134) con un índice de impacto de 3.8 y 2.9, mientras que la revista de divulgación Scientific American logra ser Q1 (30/134) con 3.1 (mejor que PloS ONE). Bucear en cualquier categoría es descubrir sorpresas inesperadas. El impacto del JCR 2024 sobre cómo se evalúa a los científicos será enorme; el uso y abuso de los índices de impacto está de capa de caída (gracias a CoARA y otras iniciativas similares).
En mi opinión, Clarivate se ha pegado un tiro en el pie; algo inexplicable. Quién va a confiar a partir de ahora en los índices de impacto cuando no se diferencia entre revistas emergentes ESCI y revistas impactadas SCIE y SSCI. Ya lo comentaba la editora jefe del Web of Science, Dra. Nandita Quaderi, en relación a las revistas AHCI, que nunca había tenido impacto JIF porque su dinámica de citación es muy particular; de hecho sugería en febrero que tenía dudas sobre si la nueva revolución afectaría a las revistas AHCI («2024 Journal Citation Reports: Changes in Journal Impact Factor category rankings to enhance transparency and inclusivity,» Clarivate, 16 Feb 2024). Pero al final sus palabras se las llevó el viento y se anunció en mayo que se las metía en el mismo saco (Tilla Edmunds, «Journal Citation Reports 2024 preview: Unified rankings for more inclusive journal assessment,» Clarivate, 22 May 2024). Por cierto, el anuncio oficial del nuevo JCR es de Nandita Quaderi, «Clarivate Reveals World’s Leading and Trusted Journals with the 2024 Journal Citation Reports,» Clarivate, 20 Jun 2024.
Tilla Edmunds (Clarivate) nos anunciaba el cambio con esta figura para la categoría History (la más afectada del JCR 2024). En dicha categoría, en el JCR 2022, había 107 revistas SSCI (con cuartiles JIF y JCI), 186 revistas AHCI (solo con cuartiles JCI) y 222 revistas ESCI (solo con cuartiles JCI); tras la unificación de las bases de datos se esperaba que hubiera 515 revistas SSCI + AHCI + ESCI, de las que las primeras 128 serían Q1 (entre ellas estarían la mayoría de las 107 revistas SSCI). El paso de casi todas las revistas «cutres» Q3 y Q4 del SSCI en el JCR 2022 a revistas Q1 en el JCR 2023 será la alegría de la huerta para muchos investigadores, pero implica que lo que el año pasado era cutre ahora es fetén por una decisión arbitraria de una empresa privada. ¿Fueron alguna vez cutres las revistas Q3 y Q4? ¿Qué pensarán todos los investigadores que perdieron una plaza en los últimos meses por tener menos revistas Q1 que otros competidores, cuando ahora todas sus publicaciones son Q1? Obviamente, hay que evaluar a las personas por sus artículos y sus contribuciones, en ningún caso se les debería evaluar por las revistas en las que publican, ni por el impacto o los cuartiles de dichas revistas. Pero hasta ahora se ha estado haciendo así. Y en muchos lugares se seguirá haciendo así.
En el área principal en el que yo publica, Física Matemática (Physics, Mathematical) hay muy pocas revistas ESCI; pero para mi sorpresa una de ellas se ha colado entre las 25 primeras, Journal of Physics-Complexity (IOP), que ahora es Q1 (7/60) con un JIF de 2.6. Pasa el primer puesto Computer Physics Communications (JIF 7.2), que intercambia su segundo puesto con Chaos, Solitons & Fractals (JIF 5.3), manteniendo el tercer puesto Journal of Computational Physics (JIF 3.8). También intercambian su cuarto y quinto puestos Communications in Nonlinear Science and Numerical Simulation (JIF 3.4) y Physica D-Nonlinear Phenomena (JIF 2.7). Yo publiqué en Chaos (JIF 2.7) que sube al quinto puesto desde el octavo.
Como es de esperar, en el otro área en el que yo publico, Matemática Aplicada (Mathematics, Applied), las revistas ESCI no han tenido ningún impacto reseñable (las mejor situadas son Q1 en los puestos 50 y 52, y la siguiente es Q2), aunque el área ha crecido de 267 revistas en 2023 hasta 331 revistas en 2024. Sigue liderando SIAM Review (JIF 10.8), bien separada de la segunda, Applied and Computational Mathematics (4.6), que repite puesto. Avanza Applied Mathematics and Mechanics (4.5) y mantiene su cuarto puesto Mathematics and Computer in Simulation (4.4), donde yo he publicado este año (porque mis coautores me demandan publicar en revistas de áreas de Computer Science). Siendo un área que ahora tiene 82 revistas Q1 y 33 revistas D1 (primer decil), los movimientos en el primer decil son habituales y no merecen ninguna reseña detallada. Por supuesto, soy consciente de que este tipo de análisis no tiene ningún sentido y con los nuevos cambios muchísimo menos. Pero como dice el refranero: «Año nuevo, vida vieja».
Y no te aburro más… si cada año el JCR es más irrelevante, cada año me da más pereza este tipo de reseñas. Por cierto, el JCR 2024 contiene 21848 revistas de 113 países en 254 categorías.
A ver si al fin se dan cuenta que el método utilizado para evaluar no medía calidad científica.
Por cierto, el problema yo no creo que fuera la empresa privada, sino los organismos públicos que decidieron basarse en algo así para ahorrarse trabajo.
Las métricas, los indicadores y los índices son las herramientas con llama quw se miden el desempeño de la investigación. Herramientas cómo un martillo. Que puede usarse para carpintería o para romper una pared. Las Métricas no son buenas o malas per se; el Problema es el modelo de evaluación, y España se quedó en el siglo pasado en este tema. Hoy día muy pocos entienden que la razón entre publicaciones y citaciones para un período dado es equivalente al impacto. En eso Latinoamérica en general ha logrado un mayor avance que España, lo que para CoAra es un sueño en Colombia está implementado hace años. Sin mencionar las recomendaciones de DORA, las métricas de revistas, cómo los cuartiles. NO DEBEN SER PARTE DE LA EVALUACIÓN DE PERSONAS.Pero Sistemas vetustos de evaluación continúan con esta práctica.
Carlea, en España la agencia de evaluación (ANECA) está adherida a DORA y CoARA, pero hay mucha reticencia entre los miembros de los comités de evaluación (que prefieren evaluar «como siempre se ha hecho», es decir, como se lleva haciendo la última década, en base a métricas).
Buenas! Muy interesante el artículo, me gustaría preguntarte si conoces cual va a ser la política de ANECA de cara a evaluar las publicaciones en estas revistas, es decir, si tener 10 publicaciones en revistas ESCI puede ser equivalente a 10 en resvistas SCIE con el mismo factor de impacto de cara a obtener una acreditación. Gracias!
José, hasta donde me consta, aún no se ha publicado dicha política. Me consta que hay comités científicos de la ANECA que tienen muchas dudas al respecto y demandan una política consensuada al respecto. Gracias a la nueva transparencia de la ANECA, supongo que nos enteraremos cuando se decida.
Recuerda que ANECA está adherida a DORA y a CoARA, que proponen una evaluación que no se base, en ningún caso, en índices bibliométricos. Otra cuestión diferente es si los comités científicos de evaluación pueden llevar a cabo evaluaciones tipo DORA y CoARA, por su enorme coste en tiempo (y en financiación).
Dora y CoaRa son un paso atrás. La evaluación subjetiva y cualitativa en ciencia es algo que se hacía hace muchas décadas y que solo da paso a la arbitrariedad. Los índices numéricos y cuantitativos deberían seguir siendo una herramienta de gran utilidad.
No nos engañemos, no existen investigadores muy buenos que publiquen poco y en malas revistas, o viceversa. Mi experiencia es que solo los mediocres defienden esos criterios cualitativos.
Buenas! primera vez que escribo. Antes que nada gracias por acercarnos estas informaciones, te escribo desde Uruguay y aquí no tenemos suscripción a los servicios de Clarivate. Sin embargo en los ámbitos que trabajo (biblioteca universitaria) existe una convivencia entre ambas formas de ver el tema; hay quienes trabajan para publicar en revistas del quartil 1 («hacia donde va el mundo», según estos investigadores dicen), y hay otras tendencias que son más concientes que depende de la temática, y que por ejemplo una investigación educativa o historiográfica no necesariamente sea publicable en una revista de alto impacto. Personalmente entiendo que esta segunda postura es la más coherente con las trayectorias de los científicos, y tiene más que ver con hacia quiénes va dirigida la investigación, o con quiénes nos queremos comunicar. Sin embargo las Agencias de Investigación siguen evaluando cuántos papers tienen los investigadores en revistas de alto impacto a la hora de otorgar financiación. No creo que por estos lares estemos dando la discusión acorde a la dimensión del problema, seguimos por el contrario dependiendo de estos criterios para hacer la evaluación de nuestra ciencia. No nos olvidemos que la base de estas métricas son las citas, lo cual ya está demostrado que tiene sus sesgos y sus limitaciones como método de evaluación. Un saludo!
Gracias, Matías, por comentar. Solo quisiera recordar a otros lectores que no son las Agencias de Evaluación de la Investigación las que evalúan, son los investigadores (que son convocados por dichas agencias para realizar la evaluación); las Agencias, como mucho, ponen o quitan criterios de evaluación (en base a comités también formados por investigadores). Al final, la responsabilidad de toda la evaluación recae en las personas que evaluamos; somos nosotras las responsables últimas de todo el sistema de evaluación de la investigación.