El 24 de junio de 2021 la revista Vaccines (open access, Q2) publicó un artículo antivacunas que ha provocado que seis miembros del comité editorial de dicha revista dimitan (incluida Diane Harper, la epidemióloga que fundó dicha revista). El artículo concluye que «por cada tres fallecimientos que evita la vacuna contra la COVID-19, hay que aceptar dos causados por ella»; obviamente, una conclusión rotundamente falsa. El polémico artículo es un buen ejemplo, según Harper, de que «si metes basura, sacas basura» (“garbage in, garbage out”). Esta revista de pay-to-publish de la editorial MDPI ha logrado su objetivo: el artículo ha recibido más de 350 000 lecturas; así, cientos de miles de personas ya saben que esta revista existe; algunos la tendrán en cuenta cuando tengan que enviar un artículo a publicar; incluso recordarán que acepta artículos con conclusiones no apoyadas por los datos. El «publica o perece» lleva a algunos investigadores hacia este tipo de revistas.
Lo primero que sorprende del polémico artículo es que ninguno de sus autores es vacunólogo, virólogo o epidemiólogo. El artículo está firmado por un psicólogo clínico, un físico y un científico de datos (independiente, no afiliado a ninguna institución de investigación). Lo segundo es que la revisión por pares ha sido laxa, como confirman los tres informes publicados: el primer revisor, la bioquímica Anne S. Ulrich, solo ha corregido la morfosintaxis del artículo; el segundo revisor, anónimo, que parece antivacunas, acepta el artículo porque «es muy importante que se publique urgentemente», sin más detalles; y el tercer revisor, anónimo, el único que muestra dudas sobre el análisis de datos, acepta el artículo tras la segunda revisión incentivado porque los otros dos ya lo habían hecho. ¿Ha fallado la revisión por pares? Ha fallado la elección de los revisores. Como toda actividad humana, la revisión por pares está sujeta a múltiples sesgos. La revisión por pares es un requisito mínimo, pero no es un marchamo de calidad.
El artículo retirado es Harald Walach, Rainer J. Klement, Wouter Aukema, «The Safety of COVID-19 Vaccinations—We Should Rethink the Policy,» Vaccines 9: 693 (24 Jun 2021), doi: https://doi.org/10.3390/vaccines9070693; peer review reports (24 Jun 2021); expression of concern (28 Jun 2021); retraction note (02 Jun 2021). Más información sobre la polémica en Meredith Wadman, «Scientists quit journal board, protesting ‘grossly irresponsible’ study claiming COVID-19 vaccines kill,» Science News, 01 Jul 2021; «Journal retracts paper claiming two deaths from COVID-19 vaccination for every three prevented cases,» Retraction Watch, 02 Jul 2021; «“If the data were not [correct], whose fault is this?” Authors of highly criticized COVID-19 vaccine study defend it,» Retraction Watch, 01 Jul 2021; «Paper claiming two deaths from COVID-19 vaccination for every three prevented cases earns expression of concern,» Retraction Watch, 29 Jun 2021.
Por cierto, el primer autor del artículo, el psicólogo clínico, estaba afiliado a la Facultad de Medicina de la Universidad de Poznan, Polonia; lo estaba, porque ya no lo está. Tras la retracción del artículo dicha universidad ha decidido prescindir de sus servicios. Nos lo cuenta «University terminates affiliation with researcher who had paper on COVID-19 vaccines retracted as mask study comes under scrutiny,» Retraction Watch, 07 Jul 2021.
El polémico artículo estima el número de fallecimientos que evitan las vacunas a partir de los datos de otro artículo, un estudio de efectividad de la vacuna de Pfizer publicado el 15 de abril en la prestigiosa New England Journal of Medicine (Noa Dagan, Noam Barda, …, Ran D. Balicer, «BNT162b2 mRNA Covid-19 Vaccine in a Nationwide Mass Vaccination Setting,» NEJM 384: 1412-1423 (15 Apr 2021), doi: https://doi.org/10.1056/NEJMoa2101765). Dicho estudio compara 596 618 israelíes vacunados entre el 20 de diciembre de 2020 y el 1 de febrero de 2021 con otros tantos aún sin vacunar. Se estima que entre 14 y 20 días tras la primera dosis la efectividad contra fallecimiento es del 72 % (19 % − 100 % al 95 % C.I.) y contra enfermedad grave es del 62 % (39 % − 80 % al 95 % C.I.). En el periodo entre 21 y 27 días (la segunda dosis se inyecta a los 21 días) la efectividad contra fallecimiento es del 84 % (44 % − 100 % al 95 % C.I.) y contra enfermedad grave es del 80 % (59 % − 94 % al 95 % C.I.). Finalmente, tras 7 días después de la segunda dosis la efectividad contra enfermedad grave es del 92 % (75 % − 100 % al 95 % C.I.), pero no se estima la efectividad contra fallecimiento. Recuerda que la eficacia en el ensayo de fase III contra enfermedad grave estaba entre el 94 % y el 96 %.
En lugar de usar estos porcentajes, que miden la reducción relativa del riesgo (RRR) tras la vacunación, el polémico artículo decide usar una medida de la reducción absoluta del riesgo (ARR), el llamado el número de pacientes que hay que vacunar (NNV = 1/ARR) para prevenir un caso. No se recomienda su uso porque el NNV no es una propiedad intrínseca de la vacuna, sino de la población vacunada y del estado de la epidemia cuando es vacunada; así no se deben aplicar medidas absolutas del riesgo en Israel a una población en Países Bajos. Muchos artículos recientes advierten de este uso incorrecto de la estadística (Piero Olliaro, Els Torreele, Michel Vaillant, «COVID-19 vaccine efficacy and effectiveness—the elephant (not) in the room,» The Lancet Microbe (20 Apr 2021), doi: https://doi.org/10.1016/S2666-5247(21)00069-0; Luis C L Correia, Denise Matias, «COVID-19 vaccines: effectiveness and number needed to treat,» The Lancet Microbe (14 May 2021), doi: https://doi.org/10.1016/S2666-5247(21)00119-1).
Además, el polémico artículo aplica dicha medida absoluta del riesgo a los fallecimientos entre vacunados según el Centro de Farmacovigilancia de Países Bajos (LAREB): 280 decesos entre 5 946 031 vacunados con Pfizer, es decir, un 0.005 %. Desde un punto de vista metodológico, esto es inaceptable; lo único aceptable sería aplicarla al exceso de fallecimientos (pero el LAREB no observa ningún exceso entre vacunados con Pfizer, lo que confirma que es una vacuna segura). Como es obvio, si se está vacunando a las personas de mayor edad, por ley de vida, habrá fallecimientos entre los vacunados; pero ello no implica ninguna relación de causalidad con la vacuna de Pfizer. De hecho, el 25 de junio, un día después de la publicación en la revista Vaccines, el director científico del LAREB, Eugène van Puijenbroek, envió un email de protesta al editor principal de esta revista solicitando la retirada del polémico artículo. En sus palabras «no hay nada más lejos de la verdad que sugerir que todos los fallecimientos entre vacunados son causados por la vacuna» (“suggesting all reports with a fatal outcome to be causally related is far from truth”).
En resumen, parece un oxímoron que una revista sobre vacunas publique un artículo antivacunas. Por ello no sorprenderá a nadie que retiren dicho artículo unos días después de su publicación. Lo que nadie entiende es cómo llegó a publicarse. La única respuesta es una combinación de una revisión por pares laxa y un editor que desatendió sus obligaciones. El gran problema es el enorme daño que hacen a la salud pública este tipo de artículos pseudocientíficos.
Francis, sin entrar a debatir el despropósito del contenido, creo que un «psicólogo clínico, un físico y un científico de datos» estén afiliados o no a ninguna institución son (o podrían ser) personas perfectamente capacitadas para hacer este estudio/análisis. De hecho por mucho que pongas a un «vacunólogo» en el equipo sin no metes a un científico de datos (mejor un Computational Scientist) el contenido será más una opinión que un artículo científico. Cuando hablamos de datos hay que tener conocimiento de la ciencia de datos (tu lo deberías saber mejor que nadie) y en esta cuestión muchos estudios científicos meten la pata hasta el fondo por no asesorarse con personas capacitadas para hacer análisis de datos computacionales que pongan algo de verdad en las observaciones aplicadas a cohortes.
[SEGUNDO PARRAFO BORRADO POR FRANCIS]
Izar, si los autores aplican ciencia de datos rigurosa, nadie se cuestiona sus afiliaciones; si los autores realizan mala ciencia, una de las señales de alerta son sus afiliaciones.
Izar tu segundo párrafo es falso así que lo borro para no confundir a otros lectores. Lo siento, en este blog no se publican comentarios con falsedades y mentiras.
La inmensa mayoría de los artículos, incluidos los más relevantes de la historia, han sido realizados sin data scientist. Suelen ser analizados por epidemiólogos, que no es raro que tengan mayor formación en metodología que un científicos de datos.
No hay que olvidar que los modelos estadísticos rebuscados no son más que un mal parche para un conjunto de datos deficiente.
Francis (me permito el tuteo). Muchas gracias por tu artículo. Soy catedrático de universidad en el área de ciencias de la empresa. Independientemente de mi especialidad, estoy absolutamente de acuerdo en (a) que esta revisión por pares es una condición necesaria, pero no es suficiente para determinar la calidad de las revistas, (b) el problema de MDPI es que da poquísimo tiempo para hacer revisiones (normalmente una semana) y así no hay forma de meditar y evaluar correctamente, y (c) MDPI tiene una política muy laxa en cuanto a la selección de revisores. En esto último, el problema -además- es que cada vez somos menos los que no queremos ser revisores, ya que no se reconoce en la carrera científica.
Ojala esa política de retractar artículos llegase también a las ciencias sociales, donde a veces se ven artículos publicados (en revistas de altísimo nivel) con análisis muy cuestionables e incluso incorrectos.
Debo señalar que el número de artículos retractados se ha incrementado (https://doi.org/10.1371/journal.pone.0068397) y que ya en 2007 (https://doi.org/10.1038/sj.embor.7400970) se señalaba que incluso las revistas más vigilantes tenían publicados artículos que deberían haber sido retractados. Y es que la ciencia no es perfecta. Como actividad humana, está también sujeta a los problemas humanos. De ahí la importancia de que los propios lectores científicos alerten y de que la política de «publica o muere» es perniciosa para la propia ciencia.
Francisco, gracias por tu comentario.