¿Debe el instinto afectar a la revisión por pares de artículos científicos?

Por Francisco R. Villatoro, el 5 diciembre, 2013. Categoría(s): Bibliometría • Ciencia • Nature • Noticias • Science ✎ 6


Dibujo20131205 scientific publishing - journals - economist com

Marcus Munafò (Univ. Bristol, Reino Unido) y dos colegas publican un artículo en Nature que afirma que se podría mejorar la revisión por pares con cierta dosis de subjetividad (eso que alguna gente llama el instinto). Su artículo concluye que los editores deberían pedirle a los revisores que ofrecieran una opinión personal, no de carácter técnico, sobre la validez del estudio presentado. Según Munafò y sus colegas se reduciría el número de artículos publicados con hipótesis incorrectas. El artículo técnico es In-Uck Park, Mike W. Peacey, Marcus R. Munafò, «Modelling the effects of subjective and objective decision making in scientific peer review,» Nature, AOP 04 Dec 2013. Recomiendo leer también a Richard Van Noorden, «Peer reviewers urged to speak their minds,» Nature, AOP 04 Dec 2013; y J.P., «How to fix peer review,» The Economist, 04 Dec 2013.

Quizás debo aclarar que Munafò es un psicólogo experimental que, como muchos colegas, no se cree las conclusiones de muchos estudios psicológicos que lee en revistas científicas. Su instinto le dice que mucho de lo que lee está mal, pero no tiene argumentos técnicos y objetivos que ratifiquen su opinión. Por ello cree que estaría bien poder ofrecer una opinión subjetiva cuando realiza la revisión por pares. Para darle más eco a su idea, la ha publicado en Nature, lo que le ha exigido desarrollar un par de modelos matemáticos para la toma de decisiones en la revisión por pares que ratifican su hipótesis (no podía ser de otra forma): lo subjetivo puede mejorar el resultado de la revisión por pares.

Los dos modelos matemáticos desarrollados por Munafò y sus colegas son muy sencillos, quizás extremadamente sencillos. Además, parecen diseñados ex profeso para que salga lo que tiene que salir. Por ello, en mi opinión, estos modelos bayesianos no permiten concluir nada fiable sobre un proceso tan complejo como la toma de decisiones en la revisión por pares. Además, Munafò es psicólogo experimental y quizás en psicología su idea funcione, pero en mi opinión no tiene mucho sentido en la mayoría de las ciencias básicas.

Permíteme unos comentarios personales sobre la revisión por pares. Mucha gente opina que el objetivo de la revisión por pares es actuar como guardián de la calidad en las publicaciones científicas. Ni fue diseñada para eso, ni fue nunca su objetivo. Aún así, por fortuna, mucha gente se lo cree y actúa en consecuencia. ¿Realmente un científico puede realizar una revisión por pares de forma objetiva? ¿Qué papel tiene su opinión subjetiva en esta ingrata pero importante labor?

Imagina que eres revisor de un artículo científico que propone una hipótesis contraria a la opinión de consenso en tu área. Tienes dos opciones. Una, rechazar el artículo argumentando en privado, sólo lo leerán los autores y el editor, que su hipótesis es incorrecta. O dos, puedes aceptar el artículo y luego escribir tus argumentos en contra en un nuevo artículo para otra revista de mayor índice de impacto, donde será aceptado sin problemas. El anonimato impide que nadie sepa que tú recomendaste la aceptación del primer artículo y a muchos colegas en tu área les gustará que seas el primero en criticar un artículo que todos en tu área saben que es incorrecto. ¿Qué crees que hace la mayoría de los revisores?

El motor de la ciencia es la reproducción de los resultados. Las publicaciones científicas sirven para resolver el problema de la prioridad (importante sólo a la hora de conceder premios y gloria), pero sobre todo para permitir que, de forma independiente, se repliquen los resultados, confirmando su interpretación. En ciencia, si un estudio publicado no es reproducible debe ser retractado. Se puede pensar que la revisión por pares garantiza la reproducibilidad, pero no es cierto. Hoy en día los revisores no tenemos tiempo de reproducir el artículo en su totalidad, el trabajo necesario nos impediría realizar nuestra propia investigación, con lo que es imposible garantizar si se presentan todos los detalles necesarios para su reproducción. ¿Ayudará en algo que los revisores por pares ofrezcan una opinión subjetiva sobre el artículo?

Los científicos son personas y como tales toman decisiones durante la revisión por pares que no son racionales, que están sesgadas o incluso que son inmorales. La fiabilidad de la revisión por pares ha sido puesta en entredicho en muchas ocasiones, aunque, en general, todo el mundo opina que es un mal necesario. ¿Podría la subjetividad afectar a la fiabilidad de la revisión?

Dibujo20131104 the new peer review process

En mi opinión la revisión por pares debe cambiar, pero debe hacerlo hacia la transparencia. Eliminar el anonimato de los revisores y publicar las revisiones como un apéndice al propio artículo (al menos en la versión web). Incluso, no me parecería mal que los artículos rechazados fueran publicados (sólo en la web y en forma de manuscrito, sin el formato de la revista) junto a la revisión que los ha echado para atrás, pues el costo real sería bajo y la ciencia ganaría mucho en calidad. Además se evitaría muchos fraudes asociados a la información privilegiada que poseen los revisores sobre investigaciones aún no publicadas (que ellos pueden retrasar o rechazar con fines maliciosos).

La transparencia y la democracia deben llegar al reino de las publicaciones científicas. La excusa del pasado, que es algo costoso, ya no es aplicable gracias a la web. No sé lo que opinará el lector (le animo a ofrecer su opinión en la sección de comentarios).



6 Comentarios

  1. En general, muy de acuerdo . Eliminar el anonimato ayudaría a evitar que se hicieran algunas burradas que se han hecho (por ejemplo, bloquear la publicación de artículos que tiran por tierra algunos del propio revisor, o lo que tú comentas). También te digo que no creo que sea el caso de la mayoría de los artículos, pero saber quien revisa ayudaría a localizar esos casos (y a evitar muchos por el simple hecho de que a) el editor seguramente tendría más cuidado al escoger a los revisores y b) muchos se lo evitarían simplemente por la vergüenza que supone que los pillen).

    Lo que no me convence es el último punto, lo de publicar los artículos rechazados. Aunque no lo veo mal como idea, creo que ayudaría más bien poco. El simple volumen de datos, por un lado, haría que esos artículos se miraran muy poco, casi seguro. Después está el tema del conflicto entre revistas. Muchas veces, tras una revisión negativa, se modifica o complementa el artículo y se vuelve a enviar a la revista, o se envía a otras después del rechazo. Veo un poco complicado compatibilizarlo todo.

    En cualquier caso, y en referencia a la imagen que publicas, quizás lo más importante sea que se obligue a enviar todos los datos originales y se publiquen como anexo, cosa que muchas veces no se hace (no sé si a los revisores se los envían, hablo de la disponibilidad para los lectores).

  2. Me ha interesado mucho el artículo, y coincido, en lo sustancial, con Francis. Lo he dejado ecrito por ahí en alguna ocaión, pero lo repito: no descartaría que surgiese, en algún momento y a cargo de científicos consagrados, un sistema de publicación de resultados en páginas personales. Al tiempo.

  3. Estoy de acuerdo con la crítica del artículo. Unas ideas, la revisión por pares no tiene por qué ser la misma en todas las ciencias. Creo que revisiones adaptados a la idiosincrasias de la ciencia ayudarían mucho, no es lo mismo revisar matemáticas que sociología.

    Por otra parte el publicar los resultados negativos ahorraría muchos esfuerzos y dinero a la comunidad científica. Me sorprendió mucho el impacto negativo que tiene la publicación parcial o no publicación de resultados en el caso de los ensayos clínicos. Dejos un post interesante que habla del tema: http://lacadernera.blogspot.com.es/2013/06/sesgo-y-parcialidad-en-las-publicacion.html

  4. El problema de la revisión por pares se puede dividir en dos. Primero, se trataría de encontrar el método que más beneficie a la ciencia. Segundo, desde hace tiempo las publicaciones son la base de la selección de los científicos y la revisión por pares hace el papel de árbitro. El que publica en mejores revistas consigue mejores puestos, y por eso hay tanta obsesión por los índices de impacto.

    El problema dista mucho de ser sencillo de resolver. Se puede opinar, de una manera ingenua, que lo importante es que la revisión por pares sea beneficiosa para la producción científica, y que la selección de la gente debe quedar al margen. Si es así un proceso de selección de artículos como el de PlosOne, en el que se valora la validez del estudio pero no su impacto ni su interés, puede ser muy útil.

    Esto es, como ya he dicho, ingenuo. Hay más gente que se quiere dedicar a la ciencia que plazas de científicos (sobre todo en España), por lo que algún criterio hay que imponer para seleccionar. Una vez impuesto el criterio es de esperar que la gente intente sacar beneficio de él. Así que el tema se vuelve complicado.

    En cuanto a la publicación de los nombres de los referees me parece también una medida que es buena sobre el papel, pero que puede dar desastrosos resultados. No podemos obviar que si el autor del artículo es alguien importante, es muy probable que acudas a pedirle trabajo en el futuro, por lo que rechazarle el artículo puede ser beneficioso para la ciencia pero fatal para tu carrera. ¿Qué pasaría? Que los peces gordos conseguirían siempre publicar sus artículos, a no ser que los mandaran referear a otros peces gordos.

    En cuanto a la publicación personal de los artículos, ya está pasando, al menos en física. En el repositorio ArXiv puedes publicar sin refereato, y y hay gente que está empezando a no mandar los artículos a referear. Por supuesto, esto sólo se lo puede permitir alguien ya asentado, para alguien joven es un suicidio profesional.

  5. Muy interesante, así como los vínculos que inserta. Me llama la atención, sin embargo, que hable de hipótesis correctas e incorrectas, cuando una hipótesis es simplemente un supuesto que hay que comprobar y refutar o corroborar tras ello.

    1. Exactamente de eso se trata la investigación científica. Confirmar o rechazar hipótesis. Me resulta cuestionable tener que pagar para publicar. Al final algunas revistas han hecho de esto un negocio.

Deja un comentario