Muchos se sorprendieron cuando Daryl J. Bem logró colar en la prestigiosa revista Journal of Personality and Social Psychology un artículo que afirmaba que la precognición y la premonición eran habilidades innatas de la mente humana, gracias a 9 experimentos con más de 1000 participantes. Un nuevo artículo en PLoS ONE ha tratado de replicar todos los experimentos de Bern sin éxito, tres intentos independientes que han fracasado, cada uno en un laboratorio diferente (Universidad de Edimburgo, Universidad de Londres y Universidad de Hertfordshire). Los autores del nuevo artículo creen que los resultados de Bern eran debidos a la técnica de análisis estadístico de los datos que utilizó (intentos de repetir el análisis de sus datos con algoritmos estadísticos más apropiados (bayesianos) también han fracasado). En conclusión podemos afirmar con rotundidad que Bern le coló un gol al Journal of Personality and Social Psychology similar al que Ronaldo le coló al portero en el último partido del Real Madrid. Si sabes hacerlo bien lo cuelas, pero tu éxito no es tu acierto, sino el fallo del contrario. El nuevo artículo técnico es Ritchie SJ, Wiseman R, French CC (2012) «Failing the Future: Three Unsuccessful Attempts to Replicate Bem’s ‘Retroactive Facilitation of Recall’ Effect.» PLoS ONE 7(3): e33423.

Me he enterado gracias a un tuit de Alejandro Bellogin ‏ @abellogin: «Quizá te interesa: sobre replicación y praxis en «top» journals» que nos enlaza el artículo Chris French, «Precognition studies and the curse of the failed replications. Science progresses when repeat studies back or refute previous research, but getting ‘replications’ published can be a nightmare,» The Guardian, 15 March 2012. El profesor French nos cuenta la pesadilla que ha sido lograr publicar sus resultados que contradicen a los del prestigioso profesor Bern, publicados en una de las revistas de psicología más prestigiosas (valga la redundancia).

«La ciencia avanza gracias a los estudios que duplican o refutan resultados previos, pero no siempre es fácil publicar dichos estudios, sobre todo cuando refutan un resultado previo publicado por un gran investigador (y el profesor Daryl J. Bem de la Universidad de Cornell es un psicólogo muy respetado). En su artículo, Bem alentó a otros psicólogos para tratar de réplicar sus conclusiones, e incluso se ofreció a proporcionar el software que había utilizado para el análisis estadístico en su estudio. Recogieron el guante Stuart Ritchie de la Universidad de Edimburgo, Richard Wiseman de la Universidad de Hertfordshire y Chris French de la Universidad de Londres.»

Nos cuenta French en The Guardian «que enviaron su artículo a la revista Journal of Personality and Social Psychology y que el editor principal de la revista rechazó su artículo sin ni siquiera enviarlo a revisión por pares. La razón argumentada por el editor es que su revista es de tanto prestigio que no publica estudios duplicados. Así que enviaron su artículo a la revista Science Brevia y recibieron la misma respuesta. Luego lo enviaron a Psychological Science y otra vez lo mismo. No es que les rechazaran el artículo, no, lo que pasó es que ni siquiera se lo enviaron a revisión por pares. Rechazo directo.»

Tras tres intentos, «en la revista British Journal of Psychology les enviaron el artículo a revisión por pares, pero uno de los revisores rechazó el artículo (el otro lo aceptó) y el editor decidió rechazarlo. Ellos creen que el revisor que puso dudas sobre su trabajo era el propio Daryl J. Bem (más tarde le preguntaron y él mismo «amablemente» se lo confirmó). Al final no les quedó otro remedio que pagar por publicar y lo enviaron a PLoS ONE, donde fue aceptado.»

«La replicación es la piedra angular de la ciencia, pero las revistas más prestigiosas no están interesadas en las repeticiones de resultados, especialmente las que refutan lo ya aceptado. La mayoría de los científicos son conscientes de este sesgo y rara vez se molestan en realizar estas repeticiones.»

¿Qué sentido tiene que haya que luchar contra los elementos para aplicar el método científico en su forma más pura?