Nota dominical: El timo de la revisión por pares

Por Francisco R. Villatoro, el 2 diciembre, 2012. Categoría(s): Bibliometría • Ciencia • Noticias • Peer Review (Revisión por pares) • Prensa rosa • Recomendación • Science ✎ 10

Dibujo20121202 peer review

«El propósito de la revisión de pares es medir la calidad, factibilidad y credibilidad de las investigaciones, con miras a ser publicadas, ya sean sus procesos o sus efectos, o para presentarlos ante organismos de financiamiento.» [1] Mentira. Mucha gente se lo cree, pero es mentira. Si no lo fuera, los científicos que actúan como revisores tendrían una gran responsabilidad de cara a la historia de la ciencia y al progreso del conocimiento. Sin embargo, esta opinión olvida que la revisión por pares fue inventada para ayudar a los editores de las revistas a elegir los artículos que publicar. Por ello, muchos editores eligen a revisores que no son expertos en el tema del artículo, aunque su opinión nunca podrá garantizar la calidad de la investigación, ello no quita que permita predecir el impacto que tendrá el artículo en la comunidad especializada en su conjunto. Porque lo que interesa a los editores es que los artículos que publican tengan impacto y éste será mayor si el artículo interesa a un gran número de científicos en lugar de un reducido número de expertos. Recuerda, muchos artículos son revisados por personas que no entienden sus detalles técnicos, que serían incapaces de replicar el artículo, que nunca podrían garantizar la calidad, factibilidad y credibilidad del artículo. Pero no importa. Porque su opinión sobre si el artículo es interesante o no para la comunidad de lectores de la revista es lo único que interesa al editor. Lo único. A este hecho, bien conocido, pero muchas más veces olvidado, yo le llamo en mis cursos de metodología y epistemología de la investigación como «el timo de la revisión por pares.»

A principios del siglo XX la revisión del artículo la realizaba el editor principal de la revista, o algún miembro del consejo editorial; por ejemplo, los artículos de Albert Einstein en su“Annus Mirabilis” (1905) publicados en Annalen der Physics fueron evaluados por Max Planck, jefe del consejo editorial. El concepto de revisión por pares moderno nació en la explosión de revistas científicas tras la II Guerra Mundial. Tantos artículos se enviaban a las revistas que los editores y el consejo editorial no podían leérselos, con los que se decidió enviarlo a pares. Siempre se pensó como una ayuda a la toma de decisiones y nunca como un garante de calidad. Con los años la opinión de que la revisión por pares era un garantía de calidad se fue extendiendo y muchos revisores se la tomaron en serio durante muchos años. Pero recientemente estamos viviendo una nueva explosión de revistas y de artículos publicados que impide que haya un número suficiente de revisores expertos que garanticen la calidad de lo publicado, con lo que se está retornando al sistema original. La revisión por pares como opinión sobre el interés del artículo y no como garante de su calidad.

En 1982, se reenviaron 12 artículos ya publicados en revistas de psicología de prestigio (las de mayor impacto) a las mismas revistas que los habían publicado, pero entre 18 y 32 meses más tarde. Solo 3 editores principales detectaron que el artículo ya había sido publicado en su propia revista. Los otros 9 artículos pasaron a revisión por pares. Los revisores rechazaron 8 de estos artículos, en muchos casos «por graves defectos en la metodología.» [2] ¿Cómo es posible que un artículo se «cuele» en una revista de prestigio en cierta ocasión y un par de años más tarde sea rechazado por «graves defectos en la metodología»? Pues muy sencillo. Depende de la lotería, del número (digo, del revisor) que te toque.

¿Podemos concluir que un artículo que ha pasado por revisión por pares es de mayor calidad que uno que no lo ha hecho? En general, sí, pero no hay que ser más papista que el papa con estos asuntos. El artículo ha «colado» pero si fuera enviado otra vez quizás no lo hubiera hecho. Siempre hay que tener precaución. Lo importante es que nos leamos el artículo. Sobre todo los divulgadores. Últimamente hay mucho divulgador que ni siquiera se lee el título del artículo sobre el que divulga y que se cree lo que medios sensacionalistas publican (omito nombres, pues todos sabéis cuáles son). Por favor, si eres divulgador y vas a hacerte eco de una noticia publicada por otro medio, por favor, léete el título del artículo y el resumen (abstract), como mínimo. Muchas revistas tienen resúmenes gráficos (el autor elige una o varias figuras del artículo que acompañan al resumen). Y si puedes conseguir copia gratis del artículo en ArXiv o gracias a Google Scholar, por favor, léete el artículo antes de divulgar. No cuesta tanto…

Si quieres llegar a portada de Méneame o similares no te esfuerces en ser el más rápido, meterás la pata muchas veces y se te verá el plumero. Por favor, recuerda que los buenos divulgadores españoles logran portadas gracias a que sus artículos son buenos, no por ser los más rápidos, porque son buenos y sus artículos están bien trabajados. Busca la calidad y trata de ser auténtico. Mira los primeros puestos en los Premios Bitácoras 2012 en la categoría de Ciencia y busca sus blogs, lee sus entradas y aprende. Ellos lo hacen bien y por ello logran ser los mejores. Recuerda, la prisa siempre es mala consejera…

 

[1] Michele Ladrón de Guevara Cervera et al., «Revisión por pares: ¿Qué es y para qué sirve?,» Salud Uninorte 24: 258-272, 2008.

[2] D. P. Peters, S. J. Ceci, «Peer-review practices of psychological journals: The fate of published articles, submitted again,» The Behavioral and Brain Sciences 5: 187-195, 1982.



10 Comentarios

  1. Decidí parar un rato de leer el artículo que estoy censando y me conecté a internet, a mis blogs favoritos… Estoy de acuerdo contigo. Yo censo muchos artículos y frecuentemente me llegan artículos que poco tienen que ver con lo que yo publico. Aunque ahora hay otro fenómeno que me preocupa más, la proliferación de open journals, que nacen como las setas y tienen en ocasiones una calidad más que discutible.

    1. Hoy nacen revistas como setas porque no hay suficiente espacio en las existentes para publicar todo lo que es necesario publicar para que los jóvenes (especialmente) puedan hacer carrera académica en el sistema perverso que les hemos impuesto. Y nacen «Open» porque se puede (la Internet existe) y porque los modelos de revista científica comercial son una estafa insostenible de otra época. Asociar «Open» a baja calidad es como juzgar un libro por su precio. A mi lo que me preocupa es que la carrera académica es una carrera de ratas.

  2. Totalmente de acuerdo. El problema que veo en todo esto es… ¿cómo salir de esa dinámica?

    Yo, como doctorando, necesito publicar, «pasar por el aro» y tener en mi CV artículos con índice de impacto si quiero no solo presentar mi tesis sino tener posibilidades de trabajar en el mundo de la investigación después. Y eso pasa, inevitablemente, por la revisión de pares… La cual, como bien expresas en el artículo, también me parece muy injusta. Yo he llegado a tener un artículo en revisión durante cerca de un año, con dos major revisions de por medio, teniendo que trabajar mucho para introducir los cambios que me pidieron los revisores, para que después cambiase un revisor y el nuevo simplemente dijese «No entiendo por qué hacéis esto, esto y esto otro. Artículo rechazado» y a la basura.

    Tal vez el artículo fuese bueno, tal vez fuese malo, pero en cualquiera de los dos casos fue tiempo, trabajo y esfuerzo perdidos. Porque los primeros revisores no supieron rechazarlo a la primera, o porque el otro lo hizo tarde y mal.

    El caso es que, en efecto, se ven muchas cosas publicadas que a veces uno las lee y piensa «¿Cómo es posible que esto pasase el corte? Si tiene mil defectos…» y seguro que muchas buenas publicaciones que sí deberían haber pasado se quedaron en el tintero por revisores que no supieron entender lo que se les decía.

    En el otro extremo está, como dice Gil, los Open Journals. El problema de estas revistas es que la cantidad de material publicado se dispara y resulta complicado separar el grano de la paja… Tampoco me parece la solución ideal.

    Así que… ¿Qué hacer? ¿Rendirnos y asumir que tenemos que seguir la corriente, por podrida que esté? ¿Dejar de publicar como acto de rebelión? ¿Fundar nuestra propia línea de revistas que tal vez tarden más en publicar artículos pero cuyos trabajos sí pasen por grupos de expertos en la materia? Realmente es complicado… Supongo que lo único que podemos hacer por ahora es prestar atención a lo que leemos, referenciar solo aquellos trabajos que realmente tengan alta calidad científica, y esperar que la comunidad en conjunto vaya dándose cuenta de que para mantener un alto grado de calidad científica algunas cosas como el peer review tienen que cambiar…

  3. Cuantísima razón tienes, Fran. Créeme, mantener posturas como las que tu defiendes: ser honesto, no tener prisa, leer completamente los artículos, me ha traído sinsabores y disgustos de los que estoy aún apenado después de años y creo que continuaré estándolo.

    Antes de asentar la fiabilidad de una fuente hay que leerla por completo. Analizar bibliografía no es sencillo y desde luego uno siempre está sujeto a equivocación.

    Yo tengo la sana costumbre de comenzar por la bibliografía para detectar si entre las citas existen pactos entre grupos para manipular el impacto. Y la verdad es que la mayor parte de las veces suele ser lamentablemente así, salvo en investigadores muy destacados o en coñas como la de citar a Daniel Beard. Luego paso a materiales y métodos, y finalmente continúo con el cuerpo.

    Pero me he enfrentado con los mismos problemas que tú con respecto a la necesidad de rapidez de los jóvenes. Es mejor la honestidad y el compromiso, y se debe defender aunque se te parta el corazón. Gracias, Fran.

  4. Yo soy joven y aún no he publicado. Lo que he oído (peor quizá solo es en la rama en la que me he movido) es que artículos con la misma estructura (metodología, etc.) fueron publicados y ahora rechazan. Parece que hay demasiados artículos y lo que antes interesaba, ya no publica 🙁
    Gracias por el consejo a divulgadores!!!

    1. por lo que he oído, algunas revistas (básicamente Letters) están intentado recuperar índices de impacto y por ello están siendo mucho mas meticulosas a la hora de publicar.

      Volviendo a la raíz del problema. Permitidme contar una anécdota reciente:
      (No voy a nombrar la editorial: aunque francis ya la mencionó en otros artículos por malas prácticas)
      Yo también estoy verde y apenas tengo publicaciones. Aún así hace unas semanas recibí un artículo que tocaba muy de refilón un tema en el que he trabajado.
      Al principio me sorprendió e incluso me sentí alagado (… iluso de mí …), pero tras leerlo un par de veces empecé a olerme algo raro. Repito: tuve que leerlo dos veces para entender, tan siquiera, que fenómeno intentaba describir el artículo, porque no usaba la terminología adecuada, o al menos, aquella que yo conozco. La introducción era rebuscada y gracias a aquello que parecían incoherencias (que me llamó la atención) pude entender lo que trataban de contar…. en fin, me temí (sin llegar a comprobarlo) que el artículo, en parte, trataba de redescubrir la sopa de ajo y los editores intentaron colarlo a un revisor novel para que cayera en la trampa.
      Al final opté por ser honesto, reconocer que no estoy capacitado para revisar dicho artículo y recomendar un referí alternativo mucho más competente. Sigo creyendo en la buena fe los autores, pero no soy quien para juzgarlo. Cuando reciba un artículo sobre mi tema procuraré ser tan riguroso y competente como pueda, confiando en que el sistema funciona si entre todos lo hacemos funcionar.

  5. Estoy impactado por el grado de desesperanza adquirida por los colegas y estudiantes científicos, incluido el autor de la nota, en esta parte fundamental de la evaluación del trabajo. Desde mi reducida y al parecer escasa experiencia, sólo puedo decir que me han tocado muy buenos revisores. Comentarios bastante pertinentes en general, que han mejorado el artículo casi siempre ( incluso se han tomado la molestia de corregir typos en exponentes de ecuaciones, y en entradas individuales de tablas relativamente extensas!).
    La única vez que me ha tocado revisar un artículo, sólo podía devolver la mano y le dediqué bastante tiempo y esfuerzo. Y era un artículo en un tema en el que yo sí soy bastante experto.
    Del editor jefe de la revista tengo la más alta de las opiniones, como científico y como editor. Supongo que pasa por eso: si el cuerpo editorial está formado por buenos científicos, la revista va a andar bien.

  6. A mi me parece perfecto denunciar casos, cuando exista, la idea es ayudar a perfeccionar el proceso de peer review. Pero también debe manejarse información concreta.

    Mi punto es que es OTRA COSA, llamarlo TIMO, ahí si que se les está haciendo un favor enorme a las pseudo-ciencias, porque se agarraran de eso como excusa para explicar porque sus afirmaciones no pasan el peer review. Al llamar timo al peer review, embarras la cancha a través de una generalización muy injusta y desprestigias una herramienta que ha sido muy valiosa para el avance científico.

  7. Gracias por el post. Se ha escrito mucho sobre la revisión por pares, y unas cuántas reflexiones claritas más no están de más. Estoy de acuerdo en que la revisión por pares tiene algo de timo, o claramente de fraude. Seguramente es el segundo ripo de fraude más frecuente que se produce en investigación (el primero y principal: la autoría, y eso daría para muchos posts).
    Sin embargo, como investigador atrapado en el juego del peer review (y del impact factor y de los sexenios y de muchas otras cosas) y como exDirector de una revista científica de ámbito biomédico, deseo hacer alguna aportación.
    En primer lugar, por mi experiencia y por lo que he leido, la revisión por pares tiene un doble objetivo: 1) como se comenta en el post, ayudar (subrallado y negrita) a los directores/as de revistas (y editores/as asociados) a tomar decisiones (pero ojo, las decisiones finales las toman ellos y ellas, no los revisores) y 2) mejorar la calidad del manuscrito: los,comentarios de los revisores o evaluadores externos deberían servir también para eso, se acabe aceptando elmmanuscrito en la revista o no, y seguramente todos hemos tenido experiencias de buen peer review con resultado de aceptación o de rechazo en la revista seleccionada… Comentarios que han hecho mejorar la calidad del manuscrito y a veces de la investigación, si es que se podía arreglar. No creo que la revisión por pares tenga como objetivo detectar fraudes (invención de datos, por ejemplo) u otras malas prácticas, aunque a veces lo haga.
    En segundo lugar, creo que el principal problema del peer review deriva, como se ha dicho, del disparate de publicaciones «en danza» por la presión por publicar, que ha llevado a una presión brutal sobre las revistas existentes (un ejemplo cercano en una revista «nacional»: pasar de recibir 250 manuscritos/año a casi 500 en menos de dos años!) y a la eclosión de muchísimas revistas (la mayoría OA, que no tiene porque ser sinónimo de baja calidad).
    Y en tercer lugar, recordar que en la revisión por pares hay varios actores (editores, revisores yaurores) y todos ellos pueden contribuir al fraude. El Director y editores de revistas, por usar la revisión por pares a su antojo, instrumentalizándola para justificar sus arbitrariedades. No me parece que esto se frecuente, tanto cuando lo repienso como autor/investigador como exDirector, pero evidentemente puede pasar y pasa. Los editores pueden no acertar con la selección de buenos evaluadores, eso es otro problema (y no siempre es fácil!). Los revisores o evaluadores también pueden contribuir al fraude en varias formas: revisar un manuscrito sobre un tema que no dominan debe ser seguramente lo más frecuente, pero también hacer una revisión favorable o desfavorable por amistad o enemistad con los autores (práctica más frecuente de lo que muchos piensan). Y también los autores, que a veces recomiendan «amiguetes» como revisores.
    Además de todo lo anterior, y acabo, dos últimos comentarios. En mi opinión, el,principal problema en la actualidad de la revisión por pares es la incapacidad que desde las revistas se tiene para tener buenos revisores. Por desgracia, los buenos revisores acaban declinando hacer revisiones porque también tienen que investigar. ¿Quién soporta hacer 30-40 revisones al año? Pues bien, algunos revisores (mi experiencia y en mi entorno) se mueven en esas cifras y se vuelven selectivos, y más cuando las revistas salen como setas… Finalmente, creo que la revisión por pares es el «menos malo» de los sistemas para evaluar manuscritos (y proyectos de investigación y hasta personas), sobretodo si todos sus actores conocen bien las normas.

    Esteve Fernández
    ExDirector de Gaceta Sanitaria, Associate Editor de BMC Public Health

    Algo decesto habíamos explicado en las páginas de Gaceta Sanitaria:

    Plasència A, García A, Fernández E. La revisión por pares: ¿buena, mala, otodo lo contrario? Gac Sanit. 2001 Sep-Oct;15(5):378-9.
    Disponible en: http://xurl.es/peerreviewGS2001

    Garcia AM. Autores, revisores, editores: las reglas del juego. Gac Sanit. 2001 Jul;15(4):294-295.
    Disponible en: http://xurl.es/reglasjuegoGS2001

Deja un comentario