La leyenda de la crisis de la reproducibilidad científica

Por Francisco R. Villatoro, el 17 marzo, 2018. Categoría(s): Bibliometría • Ciencia • Noticias • Recomendación • Science ✎ 7

Dibujo20180317 signs crisis reproducibility scientific studies source economist com

La ciencia está en crisis, repiten unos y otros. Seguro que has escuchado que hay una terrible crisis de reproducibilidad de los resultados de investigación; y, además, que la corrupción y el fraude en ciencia están creciendo de forma desaforada. Sin embargo, los estudios bibliométricos y cienciométricos desmienten esta leyenda urbana. En el último número de PNAS se han publicado doce artículos que discuten estas cuestiones. Sus resultados dejan claro que la moda de criticar el estado actual de la ciencia, comparándolo con el pasado, conduce a leyendas urbanas que no están apoyadas por las evidencias cienciométricas. La ciencia no está en crisis, solo ha crecido mucho y es más transparente gracias a la web.

La figura está sacada del artículo de Daniele Fanelli, que estudia si existe una crisis de reproducibilidad en ciencia. Para ello realiza un análisis bibliométrico de los últimos 20 años (desde 1992 hasta 2012). Concluye que los datos indican que la respuesta es negativa, no existe tal crisis. Aunque el número de artículos retractados ha crecido, lo ha hecho al mismo ritmo que el número de revistas, con lo que el número de retracciones por revista se ha mantenido constante en las últimas décadas. Además, tampoco hay más fraude científico. Los datos cienciométricos indican que el nivel actual de fraude es similar al de hace 20 años.

Los doce artículos del número especial de PNAS están citados en David B. Allison, Richard M. Shiffrin, Victoria Stodden, «Reproducibility of research: Issues and proposed remedies,» PNAS 115: 2561-2562 (13 Mar 2018), doi: 10.1073/pnas.1802324115; destaco el de Daniele Fanelli, «Opinion: Is science really facing a reproducibility crisis, and do we need it to?» PNAS 115: 2628-2631 (13 Mar 2018), doi: 10.1073/pnas.1708272114, y Richard M. Shiffrin, Katy Börner, Stephen M. Stigler, «Scientific progress despite irreproducibility: A seeming paradox,» PNAS 115: 2632-2639 (13 Mar 2018), doi: 10.1073/pnas.1711786114. La figura que abre esta entrada aparece en «Scientific publishing: Are research papers less accurate and truthful than in the past?» The Economist, 17 Mar 2018.

La mayoría de los artículos en este especial de PNAS recomiendan diferentes técnicas estadísticas para mejorar la reproducibilidad de los resultados y para comparar las conclusiones de diferentes análisis en metaanálisis. El énfasis está en los artículos en ciencias biomédicas y que se basan en estudios clínicas (cuya muestra estadística siempre suele estar bastante limitada por cuestiones prácticas). Quizás el más interesante es el que discute el embellecimiento de los resultados y los sesgos de interpretación en los artículos biomédicos, Isabelle Boutron, Philippe Ravaud, «Misrepresentation and distortion of research in biomedical literature,» PNAS 115: 2613-2619 (13 Mar 2018), doi: 10.1073/pnas.1710755115. Los interesados en estas lides disfrutarán de los doce artículos.



7 Comentarios

  1. Yo creo que el problema está en que en ciertos campos, la gente no sabe de estadística, e intentar hacer investigación sin conocer de estadística es peligroso.

    Estudios polémicos con padrinos potentes reciben centenares de citas, aunque su metodología deje que desear o se cometan errores de bulto, como confundir odds con riesgos (este es un clásico).

    Pero lo que es reproducibilidad, al menos en mi campo, está bastante bien respetada, todo se documenta y los estudios son repetidos por grupos independientes.

  2. Ahora, si el ratio se mantuvo constante, eso quiere decir que no hubo mejoras en el sistema para detectar los fraudes. Digamos que no estamos peor, pero tampoco mejor.

  3. La ciencia no está en crisis, porque para empezar lo que muchos hacen no debería de llamarse ciencia. De hecho, hacer ciencia a día de hoy es la manera más rápida de perder el trabajo que tiene un investigador, porque sólo dan fondos para propaganda, y si haces ciencia de verdad la contradices.
    La crisis es 100% responsabilidad de la gente que ha entrado a trabajar a la universidad empezando por arriba, a dedo y no por méritos. Esto lo hace sobretodo la izquierda, porque la izquierda atrae mucho ganso a los que eso del mérito les da arcadas, y sólo quieren enchufe y paguita a cualquier precio. En mi universidad decían con toda la jeta cuando implementaron Bolonia (PSOE) «esto es como un péndulo, y ahora toca esto (cargarse la educación)».
    Si ahora los títulos universitarios no valen nada, es también culpa de la izquierda, que cree que todo el mundo debería tener uno, lo que sólo se consigue regalándolos. Es el mismo error que lleva a sus analfabetos dirigentes a imprimir toneladas de dinero, creyendo que no perderá valor. La izquierda es experta en gastarse un pastizal en hacer las cosas inservibles.
    Sus políticas lo único que consiguen es que los obreros no puedan jamás mejorar su escala social, porque nunca podrán permitirse una universidad privada, libre de este cáncer que es la izquierda posmoderna.
    ¿Y a qué se debe esto? Pues porque la izquierda española, que copia todo de la anglosajona y la americana, son todos ellos VENDIDOS, porque siguen a pies juntillas lo que le mandan los ultracapitalistas, a través de prensa engañosa y falsas asociaciones de izquierdas. La izquierda a día de hoy es la mayor enemiga de todo lo que dice defender.
    Yo era de izquierdas hasta que me informé yo mismo, en vez de dejar que me informaran otros.

    1. Abuela, no solo hay revistas pseudomédicas, también hay una categoría en el Web of Science para dichas revistas: Integrative & Complementary Medicine (Journal of Citation Reports), en la que hay una 26 revistas (JCR 2016) con índice de impacto. Hablé de este tema en «La revista Homeopathy abandona el JCR 2015», LCMF 14 Jun 2016.

      Por cierto, la revista Homeopathy (de Elsevier desde 2002) nació en 1911.

  4. Yo creo que el tema de la mala ciencia (fraude, bajada de estñandares de calidad) y sus consecuencias (retracciones e irreproducibilidad) es más complejo de lo que se suele considerar y que, en algunos casos sí que hay un empeoramiento en las últimas décadas. También es verdad que ha habido mucha publicación escandalosa magnificando y generalizando el tema sin fundamento.

    A ver si encuentro tiempo para leerme a fondo los artículos originales. Muchas gracias, como siempre, por resumirlo y enlazarlo.

Deja un comentario