Cómo identificar la investigación relevante

Por Francisco R. Villatoro, el 17 octubre, 2013. Categoría(s): Bibliometría • Ciencia • Noticias • Peer Review (Revisión por pares) • Recomendación • Science ✎ 5

Dibujo20131017 nature special - impact - how to measure it

La relevancia de un trabajo científico se puede medir gracias a su impacto. Publicar en Nature, Science, Cell y otras revistas de gran «factor de impacto» no es garantía de impacto, ni de relevancia. Expertos de la Universidad del Norte de Texas, en Dalton, han propuesto 56 medidas del impacto (pero algunas parecen «curiosas pero inútiles»). A la hora de usarlas para tomar decisiones, el gran problema es cómo integrar todas estas medidas de forma transparente, pues la transparencia es esencial en todo proceso de evaluación. Nadie sabe cómo hacerlo. Ni siquiera si es posible hacerlo. Identificar lo relevante, como lo excelente, parece fácil, pero no lo es. Nos lo cuenta el editorial «The maze of impact metrics. In deciding how to judge the impact of research, evaluators must take into account the effects of emphasizing particular measures — and be open about their methods,» Nature 502: 271, 17 oct 2013. Recomiendo consultar el número especial de Nature dedicado al impacto, merece la pena.

Dibujo20131017 nature special - impact - eye

La evaluación de la investigación es necesaria (para los gobiernos, las instituciones, las universidades e incluso dentro de los grupos de investigación). Pero tiene un efecto colateral, en lugar de desarrollar una investigación de calidad, muchos investigadores se centran en predecir qué tipo de trabajo será recompensado en la próxima evaluación, cuál les hará cumplir con todos los requisitos y qué tienen que hacer para lograr más financiación, incluso si son cuestiones alejadas de lo que es hacer ciencia. «Parece un desperdicio del talento,» dice Dorothy Bishop, psicóloga experimental en la Universidad de Oxford, Reino Unido. «Creo que mucha de la ciencia hecha hoy en día no es de la calidad que podría ser porque los investigadores están tratando de hacer demasiadas cosas.» Nos lo cuenta Brian Owens, «Research assessments: Judgement day,» Nature 502: 288–290, 17 Oct 2013.

La evaluación de la investigación en Reino Unido ha sido todo un éxito. A finales de los 1980, se empezó a evaluar de forma sistemática la calidad de la investigación universitaria mediante la RAE (Research Assessment Exercise) con el objetivo de mejorar el sistema de investigación del país. Se evalúan sólo los cuatro mejores artículos de cada investigador. Entre 2006 y 2010, las citas de los artículos británicos crecieron un 7,2%, más rápido que el promedio mundial de 6,3%. El gobierno británico reparte el dinero público de investigación en función de las RAE y universidades como Oxford pueden recibir hasta diez veces más financiación pública que las universidades peor evaluadas. Muchas instituciones pequeñas han tomado decisiones estratégicas sobre cómo invertir sus recursos y se están fortaleciendo en temas específicos con objeto de mejorar su posición en las RAE. El éxito ha hecho que otros países hayan tratado de imitar el sistema británico, como Italia (donde se evalúan los tres mejores artículos de cada investigador), Alemania o Australia.

Dibujo20131017 nature special - growing competition - submissions to nature and acceptation rate

Para muchos científicos publicar un artículo en Nature o Science es como ser admitido en un club exclusivo, algo que te cambia la vida. La atención de los medios está garantizada, pero incluso entre colegas se actúa como si el único logro científico del autor hubiera sido dicho artículo. A partir de entonces su carrera científica es un lecho de rosas, regada de premios, invitaciones para dar charlas, proyectos y, como no, con una promoción garantizada. Bueno, no seamos tan optimistas, quizás sólo lo era, pues muchas cosas están cambiando en el mundo de las publicaciones científicas y de la investigación. Nos lo cuenta Eugenie Samuel Reich, «Science publishing: The golden club,» Nature 502: 291–293, 17 Oct 2013.

Ahora hay investigadores que están logrado un revuelo mediático similar publicando en revistas como PLoS ONE, donde el porcentaje de aceptación de artículos supera el 65%; por comparar, Nature aceptó en 2012 el 8,2% de los artículos recibidos, casi 12.000 artículos. La gran diferencia entre, por ejemplo, PLoS ONE y Nature es que esta última antes de la revisión por pares aplica un filtro de carácter periodístico: si un artículo no puede llegar a ser noticia de portada de un medio generalista, no merece la pena que sea revisado por pares. Muchos buenos artículos rechazados en Nature acaban siendo publicados en otras revistas y logran un gran impacto en cuanto a citas. Con más de dos millones de artículos científicos publicados al año, la competencia por la relevancia científica es enorme.

Dibujo20131017 web of knowledge - erratum - two papers being only one

Las métricas más importantes para medir la relevancia y el impacto de un artículo están basadas en las citas que ha recibido. El problema es que determinar con precisión estas citas es muy difícil en la actualidad. Se pueden usar las citas en el Web of Science de Thomson Reuters, o en Scopus de Elsevier, o incluso en Google Scholar, pero en cada caso se obtiene un resultado distinto. Más aún, incluso confiando en una sola fuente, el número de errores es muy grande. Esta figura muestra un error del Web of Science, un artículo de Shotton et al. sobre plegamiento de proteínas aparece dos veces (quizás porque el orden de los autores es diferente), una fechada en 1971 con 59 citas y otra en 1972 con 19 citas. Se estima que errores similares son muy habituales en todas las bases de datos de artículos que recopilan citas. ¿Cuál puede ser la solución? Una propuesta es una base de datos de citas de acceso abierto, una OCC (Open Citations Corpus). Ya hay varias en curso, aunque aún son poco conocidas. Nos lo cuenta David Shotton, «Publishing: Open citations,» Nature 502: 295–297, 17 Oct 2013.

En 2011 nació Open Access Subset of PubMed Central (OA–PMC) que contiene 6.325.178 citas a 3.373.961 artículos únicos. Todavía es una base de datos muy pequeña (alrededor del 20% de toda la literatura biomédica publicada en PubMed). Mucho más veterana es CiteSeerX que contiene unas 13.500.000 citas a unos 1.242.041 artículos, sobre todo en ciencias de la computación, y CITEC que contiene 13.544.970 de citas a 545.641 artículos de economía. Pero estos recursos en conjunto sólo tienen citas a un porcentaje bajo del total de artículos publicados en toda la historia (que se estima en unos 50 millones de artículos). Por supuesto, el objetivo a largo plazo es que las OCC cubran toda la literatura científica. Pero para lograrlo se requiere mucha financiación y el apoyo de las grandes editoriales y de los gobiernos.

Dibujo20131017 nature special - peacock_colour - lynea shutterstock

Una cuestión de gran actualidad es si los datos y resultados publicados en un artículo científico deben ser de acceso público a los demás investigadores. En genómica es habitual hacerlo (publicar las secuencias de ADN en bases de datos como GenBank). Sin embargo, en otros campos es casi impensable. Quizás los editores de revistas deberían exigir que toda investigación que publican venga acompañada de la liberación pública de todos los datos utilizados. Los datos en bruto sólo serán útiles para los demás expertos, pero a la larga ganarán tanto los autores, como sus colegas, como la Ciencia con mayúsculas. Nos lo cuenta Mark Hahnel, «Referencing: The reuse factor,» Nature 502: 298, 17 Oct 2013.

Otro tipo de relevancia es el impacto en la sociedad de las investigaciones. Para medir este impacto es necesario que los revisores, tanto de propuestas de proyectos como de artículos técnicos, no sean expertos en el tema del artículo, sino ciudadanos interesados en los problemas de nuestra sociedad. El público general paga los fondos públicos que financian muchas investigaciones y tiene derecho a intervenir en el proceso de concesión de proyectos de investigación. A muchos científicos no les gusta la idea, que se aplica en los proyectos de los Programas Marco de la Comunidad Europea, pero en EEUU hay varias voces que claman por un sistema similar. Nos lo recuerda Amber Dance, «Impact: Pack a punch,» Nature 502: 397-398, 16 Oct 2013.

En resumen, recomiendo consultar el número especial de Nature dedicado al impacto, porque realmente merece la pena.



5 Comentarios

  1. Soy profesor de física y matemáticas en escuelas secundarias, y tengo una duda desde hace rato. Una vez escuche a un matemático decir, tratando de mostrarle a los alumnos de una escuela que la matemática es una ciencia vida, que en la actualidad se demuestran unos doscientos mil teoremas al año…. El comentario me pareció fascinante, y suelo usarlo en mis clases de mate… Mi duda surge a raíz de no saber cual es el equivalente físico a demostrar un teorema ni tampoco cuantos de esos equivalentes se publican al año. Me pareció que, aprovechando que hablas de bibliometría, y apelando a tus conocimientos y claridad de explicación, que este era un buen momento para preguntarte…
    Desde ya, gracias…

    1. Pablo, difícil me lo pones. Lo primero, en matemáticas se suele diferenciar entre teorema y lema, en función de su importancia; si fuera verdad que se demuestran 200.000 teoremas al año, que no me lo creo, más del 90% serán lemas. Y a lo segundo, seguramente ese número es el de los artículos científicos de matemáticas que se publican al año y muy pocos de ellos incluirán nuevos lemas o teoremas, pues hay mucha matemática «experimental» hoy en día.

      En cuanto a la física, se descubren muy pocas nuevas leyes físicas al año, sobre todo en el campo de nuevos materiales y sistemas físicos; no sé cuántas serán (quizás miles). Estas leyes no son fundamentales, sino que describen comportamientos nuevos de ciertos sistemas en cierto régimen concreto. En cuanto al número de artículos en física debe ser mayor que el número de artículos en matemáticas, pues muchas revistas de Letters en física, pero muy pocas en matemáticas. Se estima que se publican unos 2 millones de artículos al año, luego supongo que un 30% serán en física, es decir, unos 600.000.

      No sé si te he ayudado, pero tendría que realizar una búsqueda más sistemática para contestar en rigor.

  2. Hola, soy un estudiante de la carrera de física y quería preguntarte qué opinas de
    IOPscience, y también de un artículo como este:

    iopscience.iop.org/1367-2630/15/3/033036/article

    Es que estoy recopilando información para mi trabajo de grado y quería conocer tu opinión acerca de esta revista y este articulo

    1. IOP Science promueve el avance y la difusión de la física a través de todas sus publicaciones; también establece estándares profesionales para los físicos.

      Es un excelente recurso de información, si lo tienes en tu universidad aprovechalo!!!

      Saludos,

Deja un comentario