Carnaval de Matemáticas 2.1: Por qué una revista del montón (IJNSNS) tiene el mayor índice de impacto en Matemática Aplicada

Por Francisco R. Villatoro, el 18 febrero, 2011. Categoría(s): Bibliometría • Ciencia • Factor de impacto (Impact factor) • Índice-h de Hirsch • Matemáticas • Mathematics • Noticias • Prensa rosa • Science ✎ 7

La revista internacional The International Journal of Nonlinear Sciences and Numerical Simulation (IJNSNS) alcanzó en 2008 un índice de impacto de 8’91 y desde 2006 (hasta 2009) lidera la lista de revistas internacionales en el área de Matemática Aplicada del Journal Citation Reports (JCR). En 2011 ya no lo hará: IJNSNS ha cambiado de editorial (de Freund a De Gruiter) y su editor principal (Ji-Huan He) ha sido substituido (por Krishnaswamy Nandakumar). El making of del alto índice de impacto de IJNSNS, gracias a las malas artes de J.-H. He, nos lo explican Douglas N. Arnold y Kristine K. Fowler, «Nefarious Numbers,» Notices of the AMS 58: 434-437, Mach 2011 [ArXiv, 1 Oct 2010]. Más información en «Arnold & Fowler on “Nefarious Numbers” about the impact factor manipulation,» Francis’ world inside out, February 18, 2011. Esta entrada será mi primera participación en el Carnaval de Matemáticas 2.1 alojado por Tito Eliatrón Dixit.

Antes de nada hay que explicar la figura que abre esta entrada. El Consejo de Investigación Australiano (Australian Research Council, el equivalente australiano al CSIC español) ha evaluado mediante encuestas a investigadores la calidad de 20.000 revistas internacionales. La calidad global de una revista puede ser A* (lo mejor en su campo), A (de muy alta calidad), B (de reputación sólida) y C (para las que no encajan en las otras categorías). La lista ERA incluye 170 de las 175 revistas internacionales impactadas de la categoría «Mathematics, Applied» del JCR de 2008. La revista #1, IJNSNS ha sido calificada como B. Las revistas #2 y #3, Communications on Pure and Applied Mathematics (CPAM) y SIAM Review (SIREV), que solo alcanzan un índice impacto de 3’69 y 2’80, resp., son revistas de categoría A*. La línea roja en la figura se ha colocado en el percentil 20% para el índice de impacto de las revistas tipo A* (lo mejor de lo mejor); hay que destacar que 51% de las revistas tipo A tienen un índice de impacto mayor que este nivel, como el 23% de las revistas tipo B y el 17% de las «peores» revistas (tipo C). Obviamente, IJNSNS es el caso más anómalo. Su índice de impacto es astronómico para ser una revista de categoría B. Entre las 10 revistas con mayor índice de impacto (JCR 2008) tenemos 7 revistas A*, 2 revistas A y solo una revista B, IJNSNS. ¿Cómo es posible que IJNSNS haya obtenido un índice de impacto tan alto?

El índice de impacto se calcula como un cociente entre las citas recibidas y el número de artículos. En 2008 se citaron 821 veces los 79 artículos de IJNSNS publicados en 2007 y 561 veces los 84 publicados en 2006, por tanto, el índice de impacto es (821+561)/(79+84)=1382/163=8’479. ¿Cómo ha logrado Ji-Huan He que IJNSNS haya obtenido un índice de impacto tan alto?

El investigador que más citas a IJNSNS ha producido en 2008 es … su editor principal, Ji-Huan He (243 citas de las 1382). El segundo citador es D. D. Ganji (con 114 citas) y el tercero Mohamed El Naschie (con 58 citas), ambos son miembros del comité editorial de la revista. Estos 3 autores son responsables del 29% de las citas que cuentan para el índice de impacto de IJNSNS. Más aún, el 71’5% de las citas en 2008 a IJNSNS son citas a artículos publicados en 2006 y 2007 (las citas que cuentan para el índice de impacto).

La revista internacional que más ha citado a IJNSNS en 2008 es el Journal of Physics: Conference Series, responsable de 294 citas (más del 20% de las 1382). Todas estas citas provienen de un solo número de esta revista, las actas de un congreso internacional organizado por… Ji-Huan He, editor principal de IJNSNS en su propia universidad. La segunda revista que más ha citado a IJNSNS en 2008 fue el Topological Methods in Nonlinear Analysis, responsable de 206 citas (el 14%) y de nuevo todas las citas provienen de un solo número de esta revista, un número especial cuyo editor invitado es … como no, Ji-Huan He. La tercera revista más citadora en 2008 a IJNSNS es la revista Chaos, Solitons and Fractals, con 154 citas; Ji-Huan He era miembro del comité editorial de CS&F y su editor principal Mohamed El Naschie es coeditor (regional) de IJNSNS. La cuarta revista más citadora es el Journal of Polymer Engineering, también de un solo número y también editado por Ji-Huan He. Ji-Huan He es responsable «directo» de más del 50% de las citas al IJNSNS en 2008.

Según el Essential Science Indicators, producido por Thomson Reuters, J.-H. He es uno de los científicos más citados de la actualidad en Matemáticas, con 6.800 citas y un índice-h de 39 (según Hirsch, inventor del índice-h, la media de los ganadores del premio Nobel de Física es 35). He y sus malas artes han logrado encumbrarle al súmmun de los científicos más citados. Por ejemplo, sólo el número especial de la revista Journal of Physics: Conference Series antes citado,  editado por él mismo, contiene 353 citas a sus propios artículos. ¡Qué os voy a contar!

En este blog ya nos hemos hecho eco en varias ocasiones de las malas prácticas de He: «El editor que se autoedita, buen autoeditor es (salvo que le corten la cabeza como a El Naschie),» 27 noviembre 2008; «El presidente de SIAM y la “ingeniería” del índice de impacto de revistas internacionales,» 12 diciembre 2009; y «Una broma de mal gusto del ISI Web of Science o esto va de castaño a oscuro,» 16 junio 2009.

Lo sorprendente es que hasta el año 2009 nadie se atrevía a criticar las malas artes de J.-H. He. Imperaba una ley del silencio que destaparon una serie de blogs y una serie de artículos que criticaron la «basura» He-siana (porque sus artículos técnicos son pura «basura» no hay mejor palabra para calificarlos). En este blog nos hemos hecho eco de ello en varias ocasiones: «La cruzada de Francisco M. Fernández contra Ji-Huan He y los He-sianos, un ejemplo de la “basura” que se publica en revistas “respetables”,» 5 febrero 2009; «Nueva cruzada contra los He-sianos, pero en revistas sin índice de impacto, por ahora,» 23 abril 2009; «Nuestro cruzado, Marcelo, logra uno de los artículos más descargados en ScienceDirect,» 7 octubre 2009; «Nuevos avatares de la cruzada anti-He-siana de la mano del nuevo cruzado Sir Jason, autor del blog “El Naschie Watch”,» 2 julio 2010; ;  y «Nikolai Kudryashov y la cruzada en defensa de la fe en la matemática aplicada,» 27 noviembre 2010.

Hecha la ley, hecha la trampa. La ley de Goodhart nos dice que «cuando una medida se convierte en un objetivo, deja de ser una buena medida.» El índice de impacto ha pasado de ser un indicador bibliométrico desconocido para la mayoría de los investigadores a convertirse en la medida de la calidad más utilizada para revistas, investigadores e instituciones científicas. La manipulación del índice de impacto es inevitable, aunque pocas veces es de forma tan exagerada como en el caso del IJNSNS cuando era editado por J.-H. He (yo espero que el nuevo editor le lave la cara a esta revista).

Goodhart’s law warns us that “when a measure becomes a target, it ceases to be a good measure.” 



7 Comentarios

  1. Muy interesante artículo. Lamentablemente el sistema científico actual se está convirtiendo en una carrera por ver quien más publica, y cada vez importa menos el contenido. El mismo aparato que finanacia y soporta a los investigadores e instituciones te obliga a publicar con un ritmo que va en detrimento de la calidad. Por ahora, hay que seguir aguantando y tratar de mantener la calidad a toda costa, y esperar que se empiecen a utilizar otros parámetros de medición de la calidad científica. Saludos.

  2. Ascender al Australian Research Council a la categoría de Ministerio creo que es algo desproporcionado, yo lo hubiera traducido como Consejo, como nuestro amado CSIC (aunque se parezca más a los Council britanicos que al Consejo español).
    Y por otro lado, decir que “cuando una medida se convierte en un objetivo, deja de ser una buena medida” a tenor de los resultados mostrados me parece incongruente. Porque sólo una revista de las 170 su FI no correlaciona con la opinión de los investigadores. Por lo que veo el FI encaja bastante bien con la encuesta, salvo el punto atípico de IJNSNS. La culpa la tiene la revista, que hace trampas pero no el indicador que se ajusta a la opinión de los expertos.

    1. Respecto a la ley de Goodhart (gracias Francis, no sabía que tenía ese nombre), lo que parece apuntar es al hecho intuitivo de que tan pronto conozcamos que se nos evalúa bajo cierta métrica, podríamos controlar la medición, controlando el atributo medido, para optimizar tal métrica a nuestro favor. Es decir, se deja de medir lo que se pretendía (el comportamiento inteligente del sistema aislado de la métrica), para medir la influencia de la métrica sobre el sistema (el comportamiento «inteligente» del sistema siendo conocedor de la métrica). Con ello, como apuntaba Goodhart, efectivamente, ¡no se mide lo que se pretendía!

      Personalmente, a este tema le veo «a priori» tres soluciones: (i) que los individuos voluntariamente no deseen optimizar la métrica (mediante una educación adecuada, a sabiendas de las repercusiones negativas que pueda tener la alteración intencionada, etc.), (ii) que los individuos desconozcan la métrica, para lo cual, deberíamos poder asumir la independencia de los agentes medidores, a parte de la posibilidad real de poder ocultar tal métrica (cosa que dudo), o (iii) al igual que ocurre en el ámbito de la seguridad, fortalecer la métrica para dificultar su alteración temporal a medida que se detectan los «falsos positivos» (ya sea eliminando autoreferencias, o incluso penalizando a los individuos como en el caso de Ji-Huan). Esta última, al parecer, es la que se está llevando a cabo hoy en día con las publicaciones, al pedir más y más JCRs para acceder a cualquier posición o pedir financiación… es una pena que, en este caso, siga siendo tan esquiva la noción esa de «calidad», verdad?

  3. Las autocitaciones son una practica habitual en ciencia y es dificil de evitar (si no te va a citar nadie, al menos puedes darte algo de autobombo) pero lo de este señor es de circo. Lo que mas me molesta del asunto es que nadie haya dicho nada hasta ahora y que, como bien dices, haya imperado la ley del silencio. Es desde luego inadmisible.

    Por otra parte, estoy 100% de acuerdo con el comentario de Tito Eliatron: mas que la calidad lo que importa es la cantidad de lo que se publica. En mis 4 años de tesis, que por fin acaban en pocos meses, me he centrado en tratar de tener un proyecto de calidad, innovador y caliente. El premio es un artículo aceptado en Science Signaling que me ha abierto las puertas a irme a Boston en Junio. La otra cara de la moneda es que a mi jefe, como P.I, le convendria más tener 8 papers aun en revistas mediocres o de bajo impact factor que un superpaper a la hora de pedir becas. Y esto es algo que comprobamos dia si dia tambien en el hospital donde trabajo, ya que tenemos que competir por la financiacion con medicos del hospital que publican como churros en revistas malas (un caso clinico, un artículo), y ellos se llevan la financiación para sus tesis doctorales de feria cuando nosotros tenemos solo un articulo pero que describe un mecanismo que va a estar en los libros de texto de aqui a 5 años. Manda huevos.

    Saludos y perdon por el tocho

  4. Prácticamente todos los sistemas de cálculo, evaluación, modelado, etc. de antaño han sido remplazados por aplicaciones informáticas, adoptadas con éxito por la práctica totalidad de los profesionales (salvo en los juzgados). ¿Quién diseña, planifica, calcula, administra, registra, etc. hoy día a mano? Entonces, ¿por qué seguimos aún con los viejos métodos de evaluación de la producción científica? A bote pronto, se me ocurren al menos un par de sistemas interactivos (vía Internet, claro), que superan en muchos órdenes de magnitud, y en todos los aspectos, a los métodos actuales, pues no sólo sería posible ejercer un control exhaustivo sobre los principales parámetros de evaluación (en plan Hacienda), sino que además permitirían incorporar nuevas funcionalidades, actualmente impensables.

    Por ejemplo, hoy día sólo se evalúa el trabajo de los autores, de modo que si a un corrector (o más) se le cruzan los cables (o tienen un mal día), todos sabemos lo que puede ocurrir, y las consecuencias que ello entraña. Considero que autores y correctores deberían estar involucrados en la publicación de un artículo al mismo nivel, y que sería muy beneficioso que todos pudiéramos saber las razones científicas por las cuales los correctores rechazan, o no subscriben el contenido de un artículo. Esta sería una posibilidad, entre otras muchas. ArXiv, y similares, han sido un gran paso, pero no es suficiente.

Deja un comentario