Atención, pregunta, ¿está disminuyendo la ciencia disruptiva?

Por Francisco R. Villatoro, el 8 enero, 2023. Categoría(s): Bibliometría • Ciencia • Nature • Noticias • Science ✎ 15

Todo tiempo pasado nos parece mejor, incluso en ciencia; sin embargo, el progreso científico es continuo y sostenido. Para mi sorpresa se ha publicado en Nature un artículo que concluye que la proporción de artículos científicos disruptivos se ha desplomado desde 1950, y nadie sabe el porqué. Se dice que un artículo es disruptivo si cambia la dinámica de citas y tras su publicación es más citado que las referencias que dicho artículo cita y se dice que es continuista en caso contrario; para medir esta propiedad se puede usar un índice bibliométrico introducido en 2017 llamado índice CD ∈ [−1, +1], con CD = +1 para el artículo más disruptivo y CD = −1 para el más continuista. Se ha calculado este índice tras cinco años desde la publicación del artículo (el llamado índice CD₅). Se han analizado las citas de 45 millones de artículos y 3.9 millones de patentes; en promedio, el índice CD₅ disminuyó más del 90 % entre los años 1945 y 2010 para los artículos, y más del 78 % entre 1980 y 2010 para las patentes. La disminución de la disrupción se observa en todos los campos de investigación y entre todos los tipos de patentes. Por desgracia, en el artículo no se desvela la causa, que será multifactorial.

Como es obvio, medir la disruptividad de un artículo usando la dinámica de sus citas es muy discutible. Basta notar que el artículo de Watson y Crick (1953) sobre la estructura del ADN solo tiene un CD₅ = 0.62, o que la patente del algoritmo de Page Rank de Google (1997) tiene CD₅ = 0.16, o que muchos artículos gracias a los cuales sus autores han logrado un Premio Nobel tienen valores negativos de CD₅. Este índice es muy fácil de calcular, pero no mide la disrupción de los artículos científicos; se limita a medir la dinámica de la citación en artículos científicos, que ha cambiado mucho desde 1950. A pesar de ello, la conclusión general ha sido bien acogida en redes sociales, donde se han propuesto muchas causas posibles a la reducción de la disruptividad: como la inmensa presión por publicar (el famoso publica o perece), el cortoplacismo de la financiación de la ciencia (se financian proyectos en lugar de líneas de investigación), que la investigación de alto riesgo y alta recompensa está infrafinanciada, o que para los grandes grupos de investigación es más cómo hacer ciencia continuista; incluso se ha criticado a la revisión por pares, al factor de impacto y al sistema actual de publicaciones científicas. Parece que todo el mundo sabe más que los autores del artículo (lo que recuerda a que en el fútbol todo el mundo sabe más que los entrenadores).

Los autores del artículo proponen varias medidas para revertir la tendencia: (1) como la diversidad de artículos citados ha decrecido, los científicos deberían diversificar los artículos que leen y que citan; (2) se observa un incremento de las autocitas, que se asocia al sesgo de confirmación, por lo que se recomienda ser consciente de ello y tratar de evitar este sesgo; (3) el número de publicaciones es tan grande que hay una sobrecarga de información, para lidiar con ella se recomienda el uso de herramientas informáticas (la inteligencia artificial podría ser una ayuda); (4) la máxima publica o perece ha llevado a maximizar la cantidad de artículos en lugar de su calidad, se recomienda focalizar el trabajo científico en la calidad; y (5) se observa una disminución del número de investigadores que cambian de campo de estudio, por lo que se recomienda que las políticas científicas fomenten estos cambios, así como la investigación multidisciplinar.

Por cierto, este artículo publicado en Nature es poco disruptivo, de hecho, me parece muy continuista; se basa en un índice bibliométrico publicado hace cinco años y usa técnicas de análisis bibliométrico muy elementales, con una discusión de los resultados muy floja; cualquiera que quiera citar este artículo tendrá que citar sus fuentes, en muchas de las cuales se presentan discusiones sobre la disruptividad mucho más sesudas. Por supuesto, los autores se consolarán con que su artículo es una ejemplo más de su conclusión. El artículo es Michael Park, Erin Leahey, Russell J. Funk, «Papers and patents are becoming less disruptive over time,» Nature 613: 138-144 (04 Jan 2023), doi: https://doi.org/10.1038/s41586-022-05543-x; más información divulgativa en Max Kozlov, «‘Disruptive’ science has declined — and no one knows why. The proportion of publications that send a field in a new direction has plummeted over the past half-century,» News, Nature, 04 Jan 2023, doi: https://doi.org/10.1038/d41586-022-04577-5. El índice bibliométrico CD fue introducido por uno de los autores en Russell J. Funk, Jason Owen-Smith, «A Dynamic Network Measure of Technological Change,» Management Science 63: 587-900 (2017), doi: https://doi.org/10.1287/mnsc.2015.2366; para una comparación con otros índices similares recomiendo Lutz Bornmann, Sitaram Devarakonda, …, George Chacko, «Are disruption index indicators convergently valid? The comparison of several indicator variants with assessments by peers,» Quantitative Science Studies 1: 1242–1259 (2020), doi: https://doi.org/10.1162/qss_a_00068. Por cierto, ya se publicó en Nature que los grandes grupos de investigación producen ciencia menos disruptiva que los grupos pequeños en Lingfei Wu, Dashun Wang, James A. Evans, «Large teams develop and small teams disrupt science and technology,» Nature 566: 378-382 (13 Feb 2019), doi: https://doi.org/10.1038/s41586-019-0941-9.

[PS 09 ene 2023] Quizás debo comentar que en redes sociales las críticas al rol actual de la revisión por pares (peer review) en la bajada de la disruptividad científica sigue la línea de los comentarios de Adam Mastroianni, «The rise and fall of peer review. Why the greatest scientific experiment in history failed, and why that’s a great thing,» Experimental History, 13 Dec 2022. Según el autor, la revisión por pares actual, que se popularizó en los 1970, ha dejado de cumplir su cometido principal (ser garante de la calidad de la metodología y de las aportaciones en los artículos científicos) y requiere una profunda revisión. Quizás las técnicas de inteligencia artificial puedan revolucionar la revisión por pares; estas técnicas ya permiten detectar anomalías en la metodología, análisis estadístico y presentación de los resultados, además de errores en la escritura; gracias a estas técnicas el revisor se puede centrar en lo relevante, como el contexto de la hipótesis propuesta y si las conclusiones están apoyadas por los resultados, obviando el resto de detalles (de los que se encargaría la inteligencia artificial). [/PS]

La definición del índice bibliométrico CDt es muy sencilla, aunque la fórmula está mal escrita en el artículo de Nature (algo que ha sido criticado en redes sociales tanto como desidia de los autores, como dejadez en la revisión por pares). Se seleccionan todos los artículos citantes que citan al artículo en cuestión (citantes focales) y/o a los artículos citados por dicho artículo (citantes a predecesores) publicados tras t años desde la publicación del artículo en cuestión; el valor CDt es el número de citantes focales menos el doble del número de citantes focales que también son citantes a predecesores, todo ello dividido entre el número total de citantes. Una fórmula trivial de calcular usando una base de datos como Web of Science (Wos) o similares (PubMed, Scopus, etc.).

A modo de validación de las conclusiones obtenidas con él índice CDt se ha realizado un análisis lingüístico de las palabras contenidas en el título de los artículos; se consideran más disruptivos los artículos que introducen nuevas palabras (respecto a sus predecesores), así como los que usan verbos que evocan creación o descubrimiento, siendo menos disruptivos los que usan verbos que evocan mejora, aplicación o comparación. Desde un punto de vista bibliométrico dicho análisis me parece muy flojo; en las últimas décadas se han desarrollado técnicas de análisis semántico de textos que podrían haberse aplicado a los resúmenes (abstracts), ya que el título es muy parco en palabras, a la hora de realizar una validación más rigurosa. Por alguna razón que ignoro los revisores del artículo para Nature han considerado innecesario el rigor y han preferido el puro sensacionalismo.

Entre las conclusiones más llamativas del artículo destaca que en las revistas científicas más prestigiosas y supuestamente innovadoras, como Nature, Science y PNAS, también se observa la tendencia a la reducción de la disrupción. En cierto sentido Nature se tira piedras sobre su propio tejado al publicar este artículo.

Lo que más me ha sorprendido de los resultados del artículo es esta figura, que presenta el índice CD₅ para 635 artículos que han sido galardonados con el Premio Nobel. Algunos de los artículos entre 1905 y 1950 (como el artículo de Dirac de 1928) tienen un índice CD₅ = +1, como sería de esperar, sin embargo, muchos otros tienen un valor CD₅ entre −0.4 y +0.4; de hecho, la curva continua que se supone que es el mejor ajuste a los datos antes de 1950 refleja muy mal la dispersión observada (me hubiera gustado que se indicara el coeficiente de determinación R² de dicho ajuste, no sé por qué se ha omitido); de hecho en una regresión robusta que no tenga en cuenta los puntos espurios es posible que los artículos con CD₅ = +1 fuesen considerados espurios, con lo que creo que desaparecería la diferencia entre antes de 1950 y después de 1950. No entiendo cómo los revisores para Nature no han exigido un análisis estadístico más riguroso a los autores del artículo.

Esta figura me hace pensar que o bien la Academia Sueca nunca ha premiado con el Nobel a las investigaciones disruptivas, revolucionarias e innovadoras, o bien el índice CD₅ no es una medida adecuada de la disruptividad. Como siempre ocurre con los índices bibliométricos, quien tiene fe ciega en uno de ellos acaba concluyendo a favor de sus sesgos. En mi opinión (yo solo soy un aficionado a la bibliometría) el análisis presentado en este artículo es deficiente y sus conclusiones deben ser tomadas con mucha precaución; aunque nuestro sesgo de confirmación apunte a que la conclusión de este artículo sea acertada. Creo que en un futuro cercano se publicarán muchos artículos que criticarán el análisis y las conclusiones de este artículo. A pesar de ello, como he observado en redes sociales, una amplia mayoría de la comunidad científica está de acuerdo con que la ciencia es cada vez menos disruptiva.



15 Comentarios

  1. No me parece extraño que dismuya la cantidad de artículos disruptivos con el tiempo, sería más extraño lo contrario o que se mantuviese constante dicho número, pero la aceleración de la disminución si es para estudiarlo.

    Lo que no me gusta de como se calcula es que 2 artículos que tienen el mismo número exacto de citantes focales y predecesores en el mismo intervalo de tiempo tienen el mismo impacto, lo cual es una simplificación extrema.
    No es lo mismo un artículo que consigue todas sus citas en un mes y luego el resto del año nadie lo cita que un artículo con un «flujo» más o menos constante de citas durante ese año.

    (Opinión personal).Saludos

    1. Pedro, en general, las citas a los artículos siguen una ley de potencias; la gran excepción son las «bellas durmientes», pero son muy, muy excepcionales. El problema de métricas como CD es que pueden ser manipuladas, por ejemplo, si yo quiero que un artículo mío sea muy disruptivo puedo citar artículos colaterales a mi aporte y obviar artículos fundacionales, de tal forma que quien me cite con gran probabilidad evitará citar los artículos colaterales que yo cito, y aunque cite los artículos fundacionales no reducirá mi disruptividad, pues yo no los he citado. Hoy en día es fácil hacerlo, sobre todo porque pocos revisores se molestan en chequear que entre los artículos citados se encuentren los artículos fundacionales; hay mucha ceguera hacia el pasado en cuanto a las citas.

      Por ejemplo, el artículo de Dirac (1928) tiene CD = +1, luego es muy disruptor, ¿seguro? Este artículo cita a Pauli (1927), Darwin (1927), Gordon (1926), Klein (1927), Jordan (1927) y a Dirac (1926). Las citas posteriores al artículo de Dirac (1928) sobre la ecuación del electrón es normal que eviten citar el modelo vectorial (erróneo) de Darwin, o los modelos escalares (inadecuados para el electrón) de Gordon, Klein y Jordan; también evitarán citar un artículo de Pauli sobre la aplicación del espín a los materiales paramagnéticos. Si Dirac hubiera citado a Schrödinger (su ecuación no relativista para el electrón, o sus intentos fallidos de obtener una ecuación relativista), o a Pauli (su introducción del concepto de espín), entonces tendría CD < 1. Pero no lo hizo, porque la dinámica de citación en su época era muy diferente a la actual (en aquella época citar artículos bien conocidos publicados dos o tres años antes era menos habitual que ahora).

      1. En mi especialidad yo soy poco partidario de citar artículos fundacionales, porque suelen dejar bastante que desear. Por desgracia, hasta hace unos 20 años se publicaba prácticamente cualquier cosa en mi campo. El artículo más citado en mi sector, hoy en día probablemente ni siquiera podría ser publicado en revista Q4.

    2. Sea válido o no el análisis, la impresión es que desde que el estado oligopoliza la investigación básica va todo más despacio… Solo quieren publicar lo que sea para ganar plazas.

  2. Asumiendo que la distinción entre lo disruptivo y «no disruptivo» en la ciencia parece razonablemente clara (y dejando de lado por el momento la discusión sobre la calidad del indice CD y el sistema vigente de incentivos a la producción de ciencia), parece lo más proble que, cuanto mayor sea el acervo de conocimiento consolidado, más costoso será producir cambios de rumbo y más fácil (y rentable) el ajuste fino. Esto es lo esperable en casi todos los sistemas de producción de casi cualquier cosa.
    Por otro lado, el aporte del ajuste fino -la precisión- parece poco valorada en el artículo, cuando puede inlcuso abrir puertas impresionantes, fruto de la medición, como, por ejemplo, el conocimiento de la expansión acelerada.

  3. Rendimientos decrecientes aplicados al mundo de la investigación científica. Baste estudiar el merito de los premios Nobel en fisica conforme pasan las décadas. Cada vez este premio se concede por trabajos menos y menos trascendentes muy alejados de los trabajos ganadores durante la primera mitad del siglo XX.

    1. No estoy de acuerdo con tu apreciación, Samu, sobre la transcendencia de los premios Nobel en el siglo XX y en el XXI. Por ejemplo, ¿es menos transcendente el descubrimiento de la superconductividad en metales (1913) que el descubrimiento de la superconductividad de alta temperatura en cerámicas (1987) o que el del grafeno (2010)? ¿O el efecto fotoeléctrico (1921) que el efecto Hall cuantizado (1985) o que el entrelazamiento en experimentos de tipo Bell (2022)? Yo no lo creo.

    2. En cuanto a la ley de los rendimientos decrecientes, hay muchas artículos que apuntan a su papel, sobre todo en el contexto de la biomedicina. Ahora recuerdo a John Horgan, «Is Science Hitting a Wall?, Part 1. Economists show increased research efforts are yielding decreasing returns,» Scientific American, 07 Apr 2018, y «Is Science Hitting a Wall?, Part 2. Analysis of drug research identifies causes of declining returns, like the «better than the Beatles» problem, and a possible solution, «Dead Drugs Officers»,» SciAm, 16 Apr 2018.

  4. quizá la disruptividad de un paper de un premio Nobel va más allá de las citas o de la dialéctica empleada en su abstract. me parecen parámetros muy genéricos como para poder determinarlo.

    quizá porque muchas veces la importancia no se descubre hasta pasados unos años y para cuándo eso pasa los investigadores ya tienen más papers a los que citar además del principal.

    lo único que demuestran estos estudios es que su metodolia no es correcta,lo cual también es ciencia así que me parece importante e interesante

  5. Francis
    No pensas que esto se debe a que los grandes decubrimientos teoricos se hicieron en la primera mitad del siglo XX entonces la mayoria de lo que siguio fueron en referencia eso?
    No es tan facil volver a hacer un nuevo paradigma como una teoria cuantica de la gravedad o la teoria de cuerdas, lo mismo para la biologia, no tenemos una teoria del funcionamiento del cerebro, cuando eso ocurra tal vez vuelva a subir el indice de disruptividad

    1. Maria Paz, el modelo estándar es producto de la segunda mitad del siglo XX (se desarrolló entre 1949 y 1974), el modelo cosmológico de consenso es aún más reciente (el gran hito que fue la energía oscura es de 1998), todo lo que sabemos de agujeros negros y ondas gravitacionales se inició n 1955 (con hitos tan recientes como GW150914 en 2015), etc. (y infinidad de avances en física teórica aplicada a nuevos materiales que ni siquiera se conocían antes de 1950). Afirmar que en física fundamental no ha habido grandes descubrimientos teóricos antes 1950 es ignorar 70 años de grandes descubrimientos teóricos. La verdad, no entiendo la manía de negar los hechos.

  6. También es interesante la opinión de John Horgan en su Blog:

    “…los académicos de Nature culpan con cautela del declive de la ciencia disruptiva a la creciente especialización y competitividad de la ciencia, lo que lleva a un énfasis en la cantidad sobre la calidad.

    “Para contrarrestar esta tendencia, las universidades y las agencias de financiación deberían dar a los investigadores más tiempo para «salir de la refriega, vacunarse de la cultura de publicar o morir, y producir un trabajo más verdaderamente consecuente». Estos son objetivos admirables, pero ¿tienen alguna posibilidad de ser implementados?”

    “Irónicamente, soy menos pesimista que antes sobre el futuro de la ciencia, principalmente porque pasé los últimos dos años estudiando mecánica cuántica. Cuanto más aprendo sobre la teoría, menos sentido tiene. El vasto edificio de la física moderna, que se basa en la física cuántica, parece tambaleante, inestable, maduro para una revolución. Quizás la computación cuántica catalice esta revolución.”

    https://www.johnhorgan.org/blog/posts/42122

    1. La respuesta de John me recuerda mucho a Taleb, de hecho veo que le gusta su obra. Y cae en sus mismos errores: todo está mal, el método científico no sirve, la estadística menos… Sin aportar alternativa, remarcando errores o limitaciones de la ciencia de perogrullo que conoce cualquiera mínimamente formado, como si fueran la gran revolución del pensamiento, o como si eso impidiera sacar conclusiones.

  7. Estando de acuerdo con Francis en que el rigor de este trabajo deja mucho que desear, creo que hay dos causas básicas que apoyan la tesis de disruptividad decreciente en t:

    1) Profesionalización creciente en t de la ciencia/tecnología, hemos pasado de una proporción casi ridícula de personas dedicadas a la ciencia (normalmente gente de cierta élite social/cultural y semi-amateur) hace 100 años a que ahora sea una profesión más. La cantidad de innovación no sigue en proporción a este aumento brutal.

    2) En muchos paises como España los CV científicos se miden esencialmente al peso, y el sistema se ha adaptado a ello (científicos, editoriales, etc..), esto destruye toda disrupción, muy poca señal y brutal ruido. Esto en algunas universidades punteras de EEUU lo tienen claro y evalúan los CV para un puesto entrevistando al candidato y pregúntandole a fondo detalles sólo sobre los dos o tres mejores trabajos que el propio candidato seleccione. Es más, tú vas con el muy habitual CV postdoc español con 20 papers en revistas de esas que tienen un número especial cada media hora y se parten de risa. También entiendo que en España un sistema como ese de las universidades punteras de EEUU traería infinidad de problemas de enchufismo en un sistema universitario en el que el que selecciona prácticamente no tiene ninguna responsabilidad sobre la productividad posterior del seleccionado. Cambiar todo esto es complicado, es como darle la vuelta a gigantesco cachalote.

Deja un comentario