Cómo predecir el impacto futuro de un artículo científico

Por Francisco R. Villatoro, el 17 junio, 2013. Categoría(s): Bibliometría • Ciencia • Factor de impacto (Impact factor) • Mathematics • Noticias • Science ✎ 2

Dibujo20130617 Prediction envelope for several papers after 5 and 10 years from publication

Albert-László Barabási es uno de los expertos más prestigiosos del mundo en teoría de redes. Su último artículo presenta un modelo bibliométrico capaz de predecir el impacto a largo plazo de un artículo científico a partir de una estimación de tres parámetros: la eficacia relativa (relative fitness), la inmediatez y la longevidad del artículo. Para mi sorpresa y la de los propios autores el nuevo modelo tiene una capacidad predictiva extraordinaria, siendo independiente del área de investigación; por ejemplo, permite predecir el número de citas y la vida media de cada artículo científico. Por supuesto, lo complicado es estimar de forma fiable los tres parámetros del modelo para un artículo dado, siendo más fácil si el artículo ya tiene cierta «vida» (unos 10 años) y/o ha tenido un buen número de citas. Habrá que esperar a futuras críticas hacia este modelo, pero si nos creemos los resultados presentados en el artículo técnico, se trata de un modelo espectacular. El artículo técnico es Dashun Wang, Chaoming Song, Albert-László Barabási, «Quantifying Long-term Scientific Impact,» arXiv:1306.3293, 14 Jun 2013.

Dibujo20130617 Distribution of the cumulative citations ten years after publication - Citation history

Predecir el impacto futuro (número de citas) de un artículo científico es muy difícil. El factor de impacto de la revista en la que ha sido publicado es un pésimo predictor, habiendo artículos publicados en la misma revista que no han sido citados nunca y otros que han sido citados miles de veces (como muestra la parte izquierda de esta figura). El número de citas que ha recibido el artículo tampoco es un buen predictor (como muestra la parte derecha de esta figura) pues la evolución futura es muy variable y depende de muchos otros factores, como el prestigio del autor principal. Otros índices bibliométricos también son malos predictores. Quizás hay que destacar que el índice-h de Hirsch parece un predictor fiable, pero requiere el uso de técnicas de análisis basadas en minería de datos.

Dibujo20130617 the mathematics of the new model

El modelo se basa en tres ideas (o mecanismos) fundamentales: (1) la conexión preferencial (preferential attachment) que afirma que los artículos más citados son más visibles y por tanto tienen más probabilidad de volver a ser citados; (2) el envejecimiento (aging) que implica una reducción en el número de citas para los artículos que ya no son tan novedosos; y (3) la eficacia (fitness) del artículo que mide la percepción por parte de la comunidad científica sobre la novedad e importancia del descubrimiento. El modelo resultante, cuya expresión matemático no quiero discutir en detalle, incluye tres parámetros asociados a cada artículo: (1) la eficacia relativa (relative fitnessλ=ηβ/A, que describe la importancia relativa del artículo respecto a artículos similares; (2) la inmediatez μ, que mide el tiempo que tardará el artículo en alcanzar su pico máximo  de citas; y (3) la longevidad σ, que mide cómo decaen conforme pasa el tiempo el número de citas.

El modelo es muy sencillo (recomiendo la lectura del artículo técnico a los interesados en los detalles) y su poder predictivo es sorprendente. Para artículos recientes, como los tres parámetros asociados al artículo son difíciles de estimar, los autores proponen una estimación basada en intervalos (que conduce a dos curvas envolventes para una predicción pesimista y otra optimista). El modelo ha sido validado con artículos publicados en las revistas Physical Review, Cell, New England Journal of Medicine y PNAS. Por supuesto, habrá que esperar a estudios independientes (ya se sabe que todo autor exagera sus resultados gracias a la selección de los más positivos, omitiendo los más negativos con la excusa de limitar el tamaño del artículo). Pero aún así, para un aficionado como yo a la bibliometría, los resultados son muy sugerentes y, de hecho, bastante sorprendentes (y sí, lo confieso, son gran admirador del trabajo de Barabási, que atesora múltiples artículos en Nature, Science y otras revistas de gran prestigio).

[PS 11 Jul 2014] Como predije, el artículo se publicó en Science: Dashun Wang, Chaoming Song, Albert-László Barabási, «Quantifying Long-Term Scientific Impact,» Science 342: 127-132, 4 Oct 2013.

Hoy se publica una crítica a los resultados de dicho artículo: Jian Wang, Yajun Mei, Diana Hicks, «Comment on “Quantifying long-term scientific impact”,» Science 345: 149 , 11 Jul 2014. Todo resultado debe ser replicado y al intentar hacerlo con artículos de Physical Review, J. Wang et al. han que el método predice bastante pero que las citas a corto plazo.

Les responden los autores del artículo original en Dashun Wang et al., «Response to Comment on “Quantifying long-term scientific impact”,» Science 345: 149, 11 Jul 2014. Su aplicación del método sufre el fenómeno de sobreajuste (overfitting); este fenómeno aparece cuando un algoritmo de aprendizaje es entrenado en demasía, con lo que predice muy bien el conjunto de datos de entrenamiento pero generaliza muy mal a otros datos. Según los autores del artículo original su método puede ser mejorado para evitar este fénomeno. Tras hacerlo con los datos de los que les critican el método recupera su alta capacidad predictiva.



2 Comentarios

  1. No se del tema, pero no entiendo como puede hablarse de «predicción» si los parametros del modelo requieren de 10 años de medidas para estimar su valor.

    Creo que despues de 10 años es obvio cual articulo tuvo impacto y cual no.

    Me asombro cuando puedan calcular los parametros, digamos 6 meses despues de salido el articulo (por no decir antes de salir)

    1. El problema no es obtener los parámetros en base a datos provenientes desde 10 años atrás (ej. en ciertas áreas se hacen ajustes de parámetros con indicadores de hace miles de millones de años y obtienen resultados sumamente precisos).

      El problema es que esos parámetros PODRÍAN no servir (igual sí sirven) para estimar la repercusión que los artículos van a tener en los próximos 10 años (ej. estimar la vida de un artículo del año pasado).

      La gran cuestión que resolvió el gran Seldon (Isaac Asimov) con la Psicohistoria está en realidad muy lejos (por lo que parece) de ser resuelta y por tanto, un simple cambio de tendencia (por ejemplo en cómo se leen los artículos a partir de hoy; ej. incremento de tablets) pueden afectar significativamente a un modelo basado casi totalmente en regresiones (y etc.).

Deja un comentario