La reproducibilidad de un experimento no es suficiente para establecer su validez

Por Francisco R. Villatoro, el 27 septiembre, 2009. Categoría(s): Bibliometría • Ciencia • Factor de impacto (Impact factor) • General • Historia • Peer Review (Revisión por pares) • Personajes • Prensa rosa • Science ✎ 3

Permitidme un recorte del artículo de Antoine Danchin, «Sílice, basófilos, y comités de lectura,» Mundo Cientifíco 193: 59-61, septiembre 1998.

Un experimento se puede repetir miles de veces equivocándose siempre acerca de su significado. El mejor ejemplo, el llamado «efecto fluoruro.»

«Desde hace tiempo, los investigadores que estudian el transporte de metabolitos a través de las membranas celulares utilizan el ión fluoruro para caracterizar el comportamiento bioquímico de los transportadores. Se añade un poco de fluoruro de sodio al medio y se observa en ocasiones la activación  y en ocasiones la inhibición del trasporte, lo cual permite clasificar los transportadores por su «sensibilidad al fluoruro.» El experimento es rutinario en los laboratorios del mundo entero. Todo iba bien hasta que uno de los laboratorios, que había reproducido decenas de veces el experimento, no obtuvo los resultados anteriores. Imagínense el estado anímico de los investigadores. Se hicieron innumerables pruebas hasta que se descubrió que lo que había cambiado eran… los recipientes utilizados en los experimentos. El plástico había sustituido al vidrio. Bastaba volver al vidrio para reestablecer los resultados anteriores. ¿Qué había ocurrido? El ión fluoruro, en solución en el agua, ataca el vidrio y arranca el alumino (ligado a la sílice), lo que conduce a la formación de un ión AlF4. Este ión, como se demostró más tarde, es isomorfo al ión fosfato, por lo que el «efecto fluoruro» es en realidad un banal «efecto fosfato.» Por tanto todos los experimentos realizados basándose en este famoso efecto fluoruro eran experimentos no controlados: los resultados variaban con los recipientes y el número de recipientes utilizados. Muchos investigadores y enseñantes siguen ignorando la existencia de este artefacto.»

«Por razones comerciales, las revistas científicas más conocidas (como Nature y Science) buscan a veces lo inesperado, por no decir lo heterodoxo, sin preocuparse demasiado por la verosimilitud de los resultados. (…) El escándalo es una fuente de publicidad. (…) Máxima publicidad a unos trabajos sin interés científico pero presentados de tal manera que podían engañar a los no biólogos (periodistas, médicos, científicos de otras disciplinas).» ¿Por qué? Interés comercial.

«La literatura científica, en general, es mediocre. Complejos juegos de poder agitan la comunidad científica internacional y sus relaciones con la sociedad civil. Una mediocridad y unos juegos de poder que a su vez facilitan la acción intempestiva de actores ajenos al espíritu científico que explotan las debilidades del sistema y recurren a la intimidación (la verdadera ciencia es hija de la duda) capaz de ahogar la verdadera originalidad, invocando la idea a veces correcta de que una cierta ortodoxia corta de miras cuida del grano.»

¿Alguien se acuerda del famoso caso Benveniste? Nature, Maddox y la «memoria del agua.» El artículo técnico era E. Davenas, et al., J. Benveniste, «Human basophil degranulation triggered by very dilute antiserum against IgE,» Nature 333: 816-818, 1988.

El lado oscuro de John Maddox… el respeto a los fallecidos no puede ser eterno. Tras cierto luto también hay recordar su lado oscuro. Intencionadamente lo omití en «John Maddox, Nature, y la mula Francis,» 15 Abril 2009.



3 Comentarios

  1. Creo entender que denuncias que el titulo del articulo es tendencioso y exagerado aposta para llamar la atención, porque el texto no da lugar a pensar que la reproducción de un experimento no sea una prueba de que si es correcto puesto que al cambiar del vidrio al plástico ya no estas haciendo exactamente el mismo experimento.

    1. La cuestión Joan, no es que reproducir un experimento no sea necesario, que lo es, sino que no es suficiente, ¿por qué? porque un experimento ha de ser interpretado. El problema es la interpretación del resultado. Muchos artículos científicos son «tendenciosos y exagerados» porque interpretan más de lo que se puede interpretar a partir de los resultados del experimento. A veces los revisores y el editor se dan cuenta y «paran» al autor en seco, pero no siempre, otras veces asumen que «llamar la atención» también es importante para la revista que publica los resultados.

      Al titular de esta entrada le falta la palabra «interpretación» que yo asumí como obvia y parece que no lo es, parece que todo el mundo no tiene claro que un experimento lleva aparejado, indisolublemente, una interpretación de sus resultados.

  2. Creo que en virtud del Teorema de la Incompletitud de Godel, entonces todo el método científico esta errado…. Ya que no existe forma de saber si un experimento es correcto o no,

    Me recuerda al experimento de Michelson-Morley… se supone que el éter no existe, pero ahora existen mas cosas extrañas como la materia oscura la energía oscura y otros etceteras… en fin… para eso se hubieran quedado con el éter nomas…

Deja un comentario