Evaluación por comités de expertos versus índices bibliométricos (o paseando un rato por PLoS ONE)

Por Francisco R. Villatoro, el 19 junio, 2009. Categoría(s): Bibliometría • Ciencia • Factor de impacto (Impact factor) • General • Índice-h de Hirsch • Noticias • Peer Review (Revisión por pares) • Política • Science

Todo el mundo sabe que un comité de expertos evalúa mejor la calidad de un artículo, investigador o grupo de investigación que un conjunto extenso de índices bibliométricos. Cualquier estudio mínimamente serio lo observa experimentalmente. Lyz Allen et al. evaluaron casi 700 artículos publicados en 2005 por comités de expertos y compararon los resultados con los indicados por índices bibliométricos 3 años más tarde. Cuando el índice bibliométrico dice que el artículo es muy bueno, los expertos ya lo habían dicho. Pero los expertos encontraron joyas que pasarían desapercibidas para los índices bibliométricos (porque no fueron adecuadamente citadas). La opinión de los expertos, como era de esperar, supera con creces a los índices bibliométricos, aunque estos son fáciles de calcular para los funcionarios y no funcionan tan mal. El estudio es Liz Allen, Ceri Jones, Kevin Dolby, David Lynn, Mark Walport, «Looking for Landmarks: The Role of Expert Review and Bibliometric Analysis in Evaluating Scientific Publication Outputs,» PLoS ONE 4: e5910, June 18, 2009.

Lyz Allen et al. tomaron 687 artículos publicados en 2005 y le pidieron a dos expertos, por cada artículo, elegidos entre 1000, que los calificaran de 1 a 4. El valor 4 representa una gran contribución, solo 6 de los 687 recibieron este valor; el valor 3 representa contribuciones interesantes, solo 62 (9%) recibieron este valor; el valor 2 artículos solamente útiles, solo 229, y el 1 para artículos del montón, el resto. Tras 3 años la correlación entre la opinión de los expertos y los índices bibliométricos es muy fuerte. Salvo para unos pocos artículos, artículos calificados de forma alta por los expertos pero que no han recibido un número suficiente de citas. Quizás 3 años es poco tiempo y las recibirán en un plazo más largo. Quizás nunca las recibirán. Para un funcionario, los expertos también se equivocan. Para un experto, los índices bibliométricos no pueden ser la única forma de evaluar.

Y es que ya lo decía Einstein «no todo lo que cuenta es contable, y no todo lo que es contable cuenta.» El uso de índices bibliométricos puede ser útil pero no puede ser lo único que se utilice. Nos lo han contado tantas y tantas veces que raya el ridículo. Y es que hablar de estos temas sirve para escribir artículos a quienes no son expertos en bibliometría y para escribir entradas en blogs de ciencia como éste (y no porque no haya otras cosas que contar). Os extraigo una figura del artículo de Lutz Bornmann, Hans-Dieter Daniel, «The state of h index research. Is the h index the ideal way to measure research performance?,» EMBO reports 10: 2–6, 2009 .

Dibujo20090618_h_index_and_citations_curve

Dibujo20090618_h_e_d_indexes_graphical_definitionlObserva la figura A. La curva blanca es el número de citas recibidas por los artículos ordenados por número de citas. El área sombreada en negro mide el índice h al cuadrado. Diferentes autores con el mismo índice h pueden tener diferentes curvas. La figura B muestra uno con el área roja más pequeña pero casi igual área verde. La figura C uno con igual área roja pero menor área verde. Finalmente la D muestra un autor con áreas rojas y verdes nulas. ¿Cuál de estos cuatro investigadores te parece el mejor? El área roja ha sido propuesta como nuevo índice bibliométrico para complementar al índice h y es llamado índice e por (exceso de citas) por C.-T. Zhang del Departamento de Física de la Tianjin University, China, en «The e-Index, Complementing the h-Index for Excess Citations,» PLoS ONE 4: e5429, May 5, 2009. Ya que estamos puestos, no soy experto en bibliometría pero se me antoja introducir un nuevo índice, el índice d (por defecto de citas). ¿Qué es? Obviamente el área verde. Con los índices h, d, y e se tiene una buena idea de cómo es la curva de citas (que tiene forma general de ley de potencias). Estos tres índices diferencian estupendamente entre los 4 autores A,B,C y D, todos con el mismo índice h.

Muchos científicos e investigadores están más preocupados por publicar en revistas internacionales de alto índice de impacto que en sus propios resultados de investigación. La nueva máxima de la ciencia «publica o perece» cada día parece más en contra de la tan cacareada «investigación de calidad.» Los investigadores envían su artículo a una revista de índice de impacto alto (yo envié uno a una de 1.8) y si se los rechazan (a mis coautores y a mí nos lo rechazaron) los envían a revistas de índice de impacto más bajo (nosotros ya lo hemos hecho a una de 0.82), y así sucesivamente hasta lograr el artículo. En este proceso el artículo puede mejorar, pero muchas veces muy poco (como es nuestro caso). No es el objetivo de las revisiones el mejorar los artículos (a veces parece que se han leído otro artículo).

Por cierto, no sé si lo sabéis, pero el índice de impacto depende del número de artículos de la revista citables y citantes. Ambos números no tienen por qué coincidir. El editor principal de una revista puede negociar (y lo hace) con Thomson Reuters qué artículos de su revistas se encuentran en cada categoría. Dentro de una misma editorial hay políticas diferentes al respecto para revistas diferentes. Siempre, se supone, para maximar el índice de impacto. Obviamente, estas negociaciones son muy criticadas por su falta de transparencia, pero así es el impactante mundo del índice de impacto.

Un diablo mal pensado podría afirmar que quizás muchos artículos contienen datos fabricados o fraudulentos con objeto de poder acceder a un mayor impacto. ¿Cuántos científicos falsifican los datos que publican en sus estudios? La detección de estos casos de forma automática es muy difícil. Lo más fácil es entrevistar de forma anónima a los científicos y preguntarles si han falsificado o no alguna vez datos que han publicado en sus artículos. El 2% de los científicos admiten haber fabricado, falsificado o modificado datos o resultados al menos una vez en su vida. Más aún, si les entrevistamos y preguntamos si creen que sus colegas o colaboradores cercanos lo han hecho, así lo creen el 14%. Si les preguntamos si alguna vez han actuado en forma científicamente reprobable (sin especificar en qué) el 72% admite haberlo hecho. Números, porcentajes, que a mí me parecen muy alarmantes. El estudio es D. Fanelli, «How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data,» PLoS ONE 4: e5738, May 29, 2009.

Los científicos que realizan su trabajo por «amor al arte,» por «amor a la ciencia,» por «amor,» son cada día bichos más raros, bichos en extinción. ¿Hay que salvar a esta especie en extinción? ¿Merece la pena gastar tanto dinero en salvar especies en extinción? Un estudio revela que el valor que los ciudadanos de a pie dan a las especies raras o en extinción es enorme comparado con el resto de las especies. Los que promueven el conservacionismo desde ONG y gobiernos están reflejando el interés común de todos por salvar a estas especies en peligro. ¿Quién quiere salvar a los bichos raros de la ciencia que se autoexcluyen a sí mismos del «publish or perish»? El estudio es E. Angulo, F. Courchamp, «Rare Species Are Valued Big Time,» PLoS ONE 4: e5215, April 22, 2009.



Deja un comentario