He participado en la sección «Aparici en Órbita» de Alberto Aparici @CienciaBrujula en el programa «Más de Uno» @MasDeUno de Carlos Alsina @Carlos_Alsina en Onda Cero Radio @OndaCero_es. Te recomiendo disfrutar del podcast «Aparici en órbita: ¿Qué puede fallar para publicar un artículo incorrecto en una revista científica?», Onda Cero, 08 Jul 2021; «Ciencia en Más de Uno s03e22: Errores en las publicaciones científicas, con Francis Villatoro; números pares», Aparici en Órbita, iVoox, 09 Jul 2021.
Al hilo de «la retirada de un artículo antivacunas publicado en la revista Vaccines» (LCMF, 08 jul 2021) hablamos de las garantía de calidad de los artículos científicos. ¿Garantiza haber superado una revisión por pares que una artículo es correcto? ¿Por qué hay que retirar (retractar) algunos artículos científicos publicados en revistas con revisión por pares? Un tema interesante y siempre de actualidad. Abajo puedes leer una transcripción libre del audio (sin la introducción ni la parte final).
Ir a descargar el episodio s03e22.
APARICI: «Yo pienso que no va a pillar por sorpresa a nadie que los científicos también nos equivocamos, decimos cosas mal. De hecho, las cosas no son verdad porque las haya dicho un científico. Hablemos de los errores».
ALSINA: «Aparici, ¿qué te pasa? Fustigándose el físico…»
APARICI: «No quiero hablar de mis propios errores; desde luego los hay y podríamos pasarnos un programa entero, o dos, o tres. Hoy quiero hablar de la comunidad científica y de sus errores. Hay una noticia que me ha dado esta idea. Un artículo que salió hace dos semanas en la revista Vaccines, que significa Vacunas. Ya sabéis que las vacunas están muy en boga y se está hablando mucho de ellas. En este artículo que salió en esta revista tres científicos defendían que las vacunas del COVID salvan a tres personas por cada dos que… matan. Una afirmación bastante severa».
«El artículo fue un escándalo inmediato. Dicen que las vacunas no sirven para nada, que nos salvan vidas, o que salvan muy poquitas. Y los antivacunas lo tomaron en seguida como prueba de sus ideas… En cuanto salió este artículo, gente de todo el mundo empezó a mirar lo que decía el artículo. Pronto quedó claro que el artículo estaba mal, a pesar de haber estado publicado en la revista Vaccines. Y la revista lo terminó retirando una semana después. Ahora, si la gente lo quiere ver sigue estando disponible, pero tiene una especie de cartel muy grande que pone «Retracted» (retirado o retractado); para que se vea que el artículo pues ya no está aceptado por la revista».
ALSINA: «¿Cómo llegó a publicarse? ¿Cómo es posible que no funcionaran los filtros mínimos de seguridad para que no llegara a difundirse el artículo?»
APARICI: «Exacto, la respuesta corta es que fallaron todas las medidas de seguridad. Pusieron bastantes, pero todas fallaron. Esas medias de seguridad están hechas para que nadie publique en Nature que la tierra es plana, o cosas de este estilo. De eso es de lo que quiero que hablemos hoy. ¿Cuáles son estos controles? Estos controles que casi siempre consiguen que el material de la revista sea fiable, pero que fallan.
ALSINA: «Antes de eso, para tranquilidad de todos, explícanos porque en el artículo llegaban a esa conclusión y, sobre todo, por qué la conclusión no era correcta».
APARICI: «En realidad es fácil de entender dónde estaba el error del artículo, que es muy cortito. Se calculan dos números: la cantidad de gente que no se muere gracias a las vacunas y la cantidad de gente que se muere por culpa de las vacunas. El primer número, el de los que se salvan, estaba calculado regular; es bastante cuestionable su cálculo y probablemente es más grande de lo que ellos dicen. Pero el que estaba realmente mal era el segundo número, el de las dos personas que mueren. Para calcularlo utilizaron un registro de los Países Bajos que decía que de cada 6 millones de vacunados por Pfizer habían muerto 280».
«El dato es correcto, pero los autores del artículo la lían cuando atribuyen esas muertes a la vacuna. Porque el registro no es un registro de muertes por vacunas; solo se registra que estas personas han sido vacunadas y algunos de ellos ha muerto. Algunos habrá fallecido por un accidente de tráfico, por otra enfermedad, … Lo que [los autores] hicieron mal fue atribuir todo a las vacunas. Les salen muchas muertes por vacunas. El segundo número en realidad tiene que ser mucho más pequeño. Por eso las vacunas salen a cuenta y no resultan ser una cosa que hace tanto daño como bien».
ALSINA: «¿Qué es lo que falló entonces? ¿Qué es lo que no se hizo, que se tenía que haber hecho? O al revés, ¿qué se hizo mal para que el artículo en cuestión acabara publicado en estos términos?
APARICI: «Lo que falló son los revisores del artículo. ¿Cómo funciona una revista científica? La revista tiene unos editores, que son como los jefes de la revista. Los científicos les mandan artículos para publicar en su revista. Los editores, como no saben de todas las cosas y no tienen tiempo infinito, delegan, recurren a una serie de expertos en cada campo… les dicen me ha llegado un artículo sobre física teórica, mira a ver si este artículo está bien, o me ha llegado un artículo sobre bioquímica, mira a ver si esto está bien. Entonces esos revisores, que a menudo son anónimos, el editor no publica sus nombres, se leen el artículo para garantizar que no dice ninguna barbaridad. Esta vez esos revisores fallaron de forma estrepitosa. Hubo tres revisores de los cuales dos dijeron que el artículo estaba bastante bien y uno dijo no solo está bien sino que es superimportante publicarlo. Nadie se dio cuenta de que ese número de muertos estaba mal calculado, porque estaban interpretando mal los datos de los Países Bajos».
ALSINA: «Voy a saludar a alguien que no es anónimo: Francis Villatoro, profesor en la Universidad de Málaga y autor del blog La Ciencia de la Mula Francis. ¿No te importa?».
APARICI: «Perfecto, así puedes revisar todo lo que acabo de explicar en modo científico».
ALSINA: «¿Tú publicarías todo esto que nos acaba de contar Alberto? ¿Reúne las condiciones mínimas de veracidad como para ser difundido?»
FRANCIS: «Para su difusión en una revista científica habría que aportar más datos de los que ha dado. Hay una rama de la ciencia que se llama cienciometría que estudia a la propia ciencia con datos y con métodos científicos. Se podría tratar de escribir un artículo con las palabras de Alberto en esta línea…»
APARICI: «Un artículo que tendría que tener muchos más detalles de lo que yo he contado, claro…»
ALSINA: «¿Cuál y cómo es el trabajo que hace un editor, que decía Alberto, o un revisor, cuando le llegan los artículos? ¿Tiene que realizar, por ejemplo, todos los cálculos que puedan aparecer en el artículo para ver que están bien hechas, como si fuera un examen?»
FRANCIS: «No es necesario. En algunas ramas de la ciencia, por ejemplo, en las matemáticas, algunas revistas solicitan a los revisores que verifiquen en detalle las demostraciones de los teoremas que aparecen en los artículos; así en algunas revistas se le da al revisor un plazo de un año o dos años para que compruebe con lujo de detalles la demostración de ese artículo. Pero en la mayoría de las revistas no es necesario, basta con que se haga una revisión un poco por encima…que «huela» a correcta la demostración. Muchas veces no se exige comprobar todos los detalles».
«En investigación experimental es muy difícil la replicación. Hay que recordar que a veces un investigador ha conseguido un proyecto de investigación de un millón de euros para realizar una serie de experimentos y ahora un revisor no va a pedir otro proyecto de investigación equivalente para repetir todos esos experimentos. Tiene que haber un cierto grado de confianza. Lo que hace el revisor es verificar que la metodología, que el método científico usado, es el correcto; en el sentido de que es el que él hubiera usado para obtener dichos resultados; que no haya puntos flacos en esa metodología; que los resultados son los esperables para eso metodología en ese problema; que no hay nada que chirríe, que parezca disonante».
«Pero se hace siempre una revisión relativamente por encima. Uno de los puntos claves es el análisis estadístico de los datos; que la estadística parezca estar bien realizada. Pero repetir todo el resultado del artículo científico es algo inviable en la práctica; luego solo en casos muy excepcionales se hace».
ALSINA: «¿Qué puede fallar para que un artículo tan defectuoso como éste del que estamos hablando de esta mañana llegue a publicarse en una revista que tiene todos los filtros necesarios para evitarlo? ¿Fue un despiste de los revisores que se ocuparon de hacer el trabajo? ¿Fue una negligencia, falta de preparación?»
FRANCIS: «A veces es muy difícil que el editor elija a los revisores correctos. Yo soy editor de un par de revistas y a veces te encuentras con dificultades. Hay que recordar que ahora mismo se están publicando del orden de tres millones de artículos al año y hay más de veinte mil revistas científicas. A veces encontrar un revisor adecuado es muy difícil; el editor tiende a coger un revisor experto en el área del artículo y otro revisor que sea, digamos, un lector típico de la revista, aunque no sea un experto en el tópico del artículo. Por ello a veces uno de los revisores, el que no es experto, cree que el artículo parece correcto y es favorable a que se publique; y el otro puede tener dudas, pero a veces acepta el artículo sin más».
«En este artículo que ha comentado Alberto en Vaccines, de los tres revisores, uno planteó algunas dudas sobre la metodología, pero los otros dos aceptaron directamente el artículo; parecía casi que se lo habían leído por encima, solo revisaron un poco el lenguaje del artículo. Esto pasa muchas veces, siendo difícil que la revisión por pares sea completamente rigurosa en todos los artículos».
«Lo habitual es que cuando te piden que revises un artículo, si te lo pide un editor de una revista muy prestigiosa, donde tú deseas publicar, quieres quedar muy bien con el editor, con lo que haces una revisión muy rigurosa. Pero si te lo pide una revista menos prestigiosa, a veces eres más laxo a la hora de revisar el artículo. Vaccines es una revista de segundo cuartil, no es de las más prestigiosas en el campo de la virología, inmunología, o vacunología. Por tanto es una revista, entre comillas, de segunda. Esto hace que sea más fácil que un revisor sea laxo a la hora de revisar el artículo. Pero pueden fallar muchísimas cosas».
ALSINA: «Francis, por último, unos consejos para cuando vemos una noticia sobre un estudio publicado en una revista científica… ¿en qué me tengo que fijar para poder detectar si igual no es del todo correcto, creíble, lo que se está contando? Lo primero, por lo que cuentas es saber de qué revista se trata, y si es de altísimo nivel o de segunda, por utilizar estos términos coloquiales, ¿y qué más?»
FRANCIS: «Un oyente de este programa es muy difícil que se atreva a leer un artículo científico. Los artículos científicos están escritos para que los lean otros científicos; y no solo otros científicos, sino científicos especializados en el tema de ese artículo. El lenguaje académico es muy duro, con formas de contar las cosas que pueden confundir a una persona que no está acostumbrada a dicho lenguaje».
«Obviamente, confiar en las grandes revistas es un punto de partida. Si se ha publicado en una revista que no es muy conocida, que no es muy prestigiosa, que no nos suena como una de las grandes revistas, eso puede generar dudas, pero no debemos estigmatizar a las revistas menos prestigiosas. Lo que yo creo que es más relevante es tener la opinión de los expertos a través de redes sociales, o en noticias de prensa en las que el periodista pregunta a expertos sobre el artículo. Esto nos da una información desde un punto de vista más riguroso, porque el experto puede leer el artículo y enterarse de todos los detalles que pueden fallar en dicho artículo».
«En la práctica se cuelan en grandes revistas artículos de mala ciencia, incluso de fraude científico, artículos que han realizado mal la estadística, porque es muy difícil saber que un artículo es correcto. Cuando un artículo se ha publicado y lo leen cientos de investigadores es mucho más fácil que se detecte sus fallos. Como ha ocurrido con este artículo en Vaccines, que tras aparecer publicado ha tenido muchas críticas, y varios de los editores de la revista han dimitido porque no estaban de acuerdo con que se hubiera publicado un artículo así».
«Los errores en ese artículo se han visto gracias a que mucha gente ha mirado el artículo con lupa. Yo creo que lo que nuestros oyentes tienen que plantearse como manera de discernir cuando una investigación es buena o mala es sobre todo la opinión de los expertos. Si los expertos, en general, opinan que el artículo es bueno, probablemente es que sea un buen artículo».
ALSINA: «Gracias por habernos acompañado esta mañana, como siempre un fuerte abrazo».
Los revisores no cobran, de ahí las revisiones laxas. Otro motivo es que tampoco suelen tener mucha formación en metodología y estadística, al menos en el sector que conozco (salud). Hablo incluso de catedráticos.
Completamente de acuerdo con lo que comenta el compañero, pero además ciertas editoriales exigen completar las revisiones en un plazo de tiempo bastante corto. Considerando que muchas veces los revisores han de atender también a sus obligciones como investigadores y docentes, esto puede dar lugar a que las revisiones que se realizan no sean todo lo exaustivas que deberian ser.