El gran problema de la revisión por pares: La falta de revisores

Por Francisco R. Villatoro, el 27 noviembre, 2014. Categoría(s): Bibliometría • Ciencia • Nature • Noticias • Recomendación • Science ✎ 28

Dibujo20141127 dr moon - south korea - cover journal enzyme inhibition - informa

El Dr. Hyung-In Moon (Univ. Dongguk, Gyeongju, Corea del Sur) era el científico con más suerte del mundo. Casi siempre la revisión por pares de sus artículos era tan rápida que rayaba lo imposible. En menos de 24 horas sus artículos estaban revisados y casi siempre aceptados con pequeñas mejoras o modificaciones. ¿Por qué tenía tanta suerte? ¿Cuál era el secreto del Billy el Niño de la revisión por pares? La respuesta produce cierto escalofrío: Moon revisaba sus propios artículos. Autor y revisor, como Juan Palomo, yo me lo guiso, yo me lo como. El editor principal que desveló el pastel en 2012 le retractó los 28 artículos que había publicado en su revista (The Journal of Enzyme Inhibition and Medicinal Chemistry).

Muchos editores de revistas solicitan a los autores que recomienden una lista de candidatos a la revisión por pares. Por un lado engrosan sus propias bases de datos de revisores. Y por otro lado hacen más fácil el difícil proceso de seleccionar dichos revisores. En 2012, Moon enviaba listas de revisores con científicos reales que eran sus amigos y delegaban la revisión en él, e incluso con científicos inventados (con pseudónimo y direcciones de e-mail ficticias) que acababan en sus propias manos. El pastel se descubrió gracias a su propia confesión. ¿Habría que indultarlo? Como en el caso de Billy el Niño en 2010, en mi opinión, el indulto no procede.

Lo penoso es que  no es un caso aislado. En los últimos 2 años, se han retractado más de 110 artículos por problemas de (auto)revisión por pares. Nos lo cuentan Cat Ferguson, Adam Marcus, Ivan Oransky, «Publishing: The peer-review scam,» Nature 515: 480-482, 27 Nov 2014 [PDF gratis]. Más información sobre el caso de Moon en Ivan Oransky, «Retraction count grows to 35 for scientist who faked emails to do his own peer review,» Retraction Watch, 17 Sep 2012.

Dibujo20141127 Juan Palomo - milonga - music disk cover

Como dice la milonga: «Muchachos, háganme caso; les habla quien lo ha pasado: el amor da para todo… menos para ir al mercado. Procuren vivir la vida antes de estar jubilados que, cuando no tengan dientes, ¿para qué quieren asado? Yo quiero ser Juan Palomo, yo me lo guiso, yo me lo como… Mas solo mejor se está; con menos bulto, más claridad…»

En mi opinión el gran problema de la revisión por pares es la falta de revisores. Cada día hay más revistas, se publican más artículos y los editores lo pasan peor para encontrar revisores. Muchas editoriales prometen a los autores una publicación rápida de los artículos aceptados (al menos de la versión online del artículo). Una publicación rápida exige una revisión por pares muy rápida. En la situación actual una revisión rápida y de calidad sólo la pueden garantizar las revistas más prestigiosas (en las que los revisores potenciales están encantados de ser invitados a revisar). Sin embargo, en la mayoría de las revistas, si ya se está revisando uno u dos artículos, se tiende a rechazar toda invitación sin mayor pena ni gloria.

Editoriales de prestigio como Elsevier, Springer, Taylor & Francis, SAGE y Wiley quieren afrontar el problema usando identificadores únicos como ResearcherID, ORCID, ScholarOne y OpenID. Sin embargo, estos sistemas automáticos no son completamente seguros. Además, no evitan la existencia de anillos de revisores. Un autor que revisa los artículos de un autor que revisa los artículos de un autor que revisa los artículos del primer autor de esta lista. Un grupo de colegas que trabajen en temas afines pueden montar un anillo de revisores para sortear las trabas de la revisión por pares en casi cualquier revista. En mayo de 2013, Ali Nayfeh, editor principal de la revista Journal of Vibration and Control, retractó 60 artículos que habían sido revisados por un anillo de revisores.

Dibujo20141127 hecha la ley - hecha la trampa - esgag com

Hecha la ley, hecha la trampa. España es un país de pícaros y de Lazarillos de Tormes en potencia. Por fortuna en el campo de la revisión por pares los mayores problemas los están dando los países asiáticos, que cuentan con marabuntas de autores científicos (China, Corea del Sur, …). También hay problemas en los países en vías de desarrollo científico en los que los gobiernos tratan de imponer las reglas de las grandes potencias científicas (EEUU, Alemania, …); el publish or perish en ciertos países implica un riesgo alto (padecer hambre al perder el puesto de trabajo). Una revisión por pares que alimente a ingentes ejércitos de autores científicos conlleva graves problemas éticos.

El COPE (Committee on Publication Ethics) puede servir como brújula moral para las editoriales y los editores de revistas, pero no tiene autoridad para exigir que se cumplan sus recomendaciones. El trabajo del editor no se puede realizar con prisas y sin rigor; la revisión por pares debe ser ejecutada con el máximo de rigor, aunque implique retrasar la publicación de los artículos y no cumplir con los plazos prometidos a los autores por las editoriales. El editor principal nunca debe sucumbir a las presiones editoriales. Decirlo es fácil. Cumplirlo, hoy en día, raya casi en la utopía.

¿Qué opinas? ¿Crees que es más importante que la revisión por pares sea rápida para que tu artículo se publique pronto? ¿Prefieres una revisión por pares rigurosa, aunque sea muy lenta y afecte de forma negativa a tu promoción? ¿Crees que el problema tiene solución? Usa los comentarios si te apetece. Recuerda, el objetivo de esta entrada es provocarte para que leas el artículo de Nature que cito más arriba. Disfrútalo, piensa y comenta.

PS 28 Nov 2014: ¿Qué opináis de la posibilidad de que los revisores cobren por su trabajo? Todos estamos de acuerdo en cobrar, pero ¿realmente es la solución al problema de la calidad de las revisiones por pares? Recomiendo leer antes de contestar a Phil Davis, «Rewarding Reviewers: Money, Prestige, or Some of Both?,» The Scholarly Kitchen, 22 Feb 2013. Por ejemplo, las revistas de la AEA (American Economic Association) pagan a sus revisores 100 dólares por revisión «a tiempo» («timely report«). Aún así, muchos revisores (sobre todo las grandes figuras de la ciencia) consideran que 100 dólares es peccata minuta.



28 Comentarios

  1. Lo ideal es una revisión rigurosa, hecha por expertos, y en un tiempo razonable. Lo que pasa es que, como en todos los trabajos, si quieres un buen trabajo, hecho por expertos, y en un tiempo razonable, hay que pagarlo. ¿Cuánto pagan las revistas a los revisores? NADA, pues eso.
    A mí no me importa hacer revisiones a revistas gratuitas con un mínimo de calidad, pero cada vez hago menos a revistas importantes, sólo lo que realmente me gusta y me llama mucho la atención.
    Las grandes revistas re cobran por publicar tus artículos, te ponen a trabajar gratis para revisarlos, y te vuelven a cobrar para ver los artículos, es el negocio redondo, y nosotros los tontos que lo permitimos.
    Si una revista quiere un buen trabajo, que lo pague, así se acabaría la falta de revisores y todos saldríamos ganando.

  2. Si se me permite, yo añadiría el adjetivo «buenos» a los revisores del título. El grave problema de las revisiones por pares es que este es un sistema perverso, en el sentido de que los revisores son (somos) jueces y parte a la vez. Un buen revisor es aquel al que le encanta que un buen articulo se publique, y que hace todo lo posible por mejorarlo aún más. Muchas veces encontramos revisiones en las que solo se incide en las carencias del articulo, n vez de dar criticas constructivas.

    Yo estoy convencido que es muy importante tener suerte al enviar un articulo. Y mi suerte es que me toque un buen revisor. Temo las revisiones en donde me rechazan un articulo porque «faltan más validaciones», por ejemplo. Si faltan validaciones, se piden y ya está. Los revisores tienen que entender que no se puede rechazar un articulo después de 6/8/10 meses por algo subsanable fácilmente. Eso lo entendería un buen revisor.

  3. Además de la escasez, el sistema está desproporcionado. La mayoría de las revisiones suele hacerla la gente joven de los laboratorios, es decir, los postdocs. Los investigadores principales suelen estar demasiado ocupados y suelen limitarse a referear lo que consideran más importante y delegar en lo demás. Además, se un buen referee es algo que no se recompensa curricularmente y por eso mucha gente prefiere dedicarle el menor tiempo posible.

    En mi opinión la solución pasa por olvidarse un poco del «publish or perish» y empezar a evaluar siempre más la calidad que la cantidad.

    Hay gente que propone también que los informes de los referees dejen de ser anónimos, y salgan publicados con el artículo. Es una idea interesante, pero no seré yo el primero en firmar un informe rechazándole un artículo a un pez gordo.

    http://rsos.royalsocietypublishing.org/content/open-peer-review-royal-society-open-science

  4. A mí revisar un artículo me lleva mucho tiempo. Si no voy a poder leerlo tranquilamente, reflexionar sobre lo que he leído y a la segunda vuelta empezar a comentar ciertos aspectos directamente no acepto ser revisor. Si me dicen 2 semanas y tengo otros artículos pendientes o mucho trabajo en curso directamente no acepto. Me llevan tanto tiempo los artículos para revistas «buenas» como los artículos par revistas más desconocidas, porque la revisión la hago igual, tal vez en lo que varío es en la percepción final, la valoración de grado de interés para los potenciales lectores que te piden luego en la revista. Creo firmemente que las revisiones deberían ser accesibles junto con el manuscrito final y las versiones previas del manuscrito. No sé si el doble ciego sería mejor, pues a veces aunque no leas quien escribe el artículo sabes de donde viene al leer la introducción y la forma de plantearlo. Y creo que las editoriales tendrían menos problemas si recompensaran en cierta medida a sus revisores. ¿por qué no una cierta facilidad para publicar en open access bonificada si revisas para ellos?
    Y en cuanto a la calidad de los artículos, creo que a veces el problema es que son correctos pero son más de lo mismo, cuantos artículos se publican cada año de cosas casi idénticas en las que se cambia un poco el material de partida pero se hace la misma caracterización y las conclusiones son casi análogas…

    1. Quizá este sea realmente el problema. La calidad de los artículos es inversamente proporcional al número de artículos que se publican. Es decir, se publican muchísimos artículos por la presión de publicación y esto conlleva a que se publiquen cosas irrelevantes o, sencillamente, igual a lo que hay publicado. Esto cambiaría si realmente no se hiciera una evaluación de carrera investigadora «a peso», cuantos más artículos mejor, sino por relevancia. Hasta el momento no hay ningún índice que lo mida, ni el Inpact Index ni el número H ni nada, todos estos criterios están viciados.

    2. Teresa, a mí me pasa lo mismo, una revisión como a mí me gusta me requiere mucho tiempo (incluyendo leer artículos previos de los mismos autores y leer (o releer) muchos artículos de los citados en el paper).

      La revisión abierta (open peer review) siempre me ha parecido una gran idea. Fácil de implementar y que permite que el revisor pueda incluirla en su CV. Cualquier evaluación de la labor del investigador podría tener en cuenta su trabajo como revisor de forma transparente.

      También estoy de acuerdo con que el pago económico a los revisores más fácil de implementar para las editoriales es rebajar el precio por publicar artículos open access. No todo el mundo se beneficiaría de ello, lo sé, pero muchos entrarían en el mundo open access gracias a esta medida.

      Saludos
      Francis

  5. ¿Cual es el castigo para la gente que hace trampas en la revisión? ¿Existe algún organismo con potestad para sancionarlos de alguna manera, más allá de la mácula en su currículo? Si existen delitos por atentar contra la salud pública, o contra la seguridad, ¿porqué no por atentar contra el conocimiento universal?

    1. Edu, los organismos públicos de investigación (instituciones como el CSIC, institutos de investigación y universidades) suelen tener un comité de ética y un mecanismo para penalizar a los científicos que hacen trampas. Obviamente, muchas veces los culpables quedan inmunes (la presunción de inocencia debe brillar), pero en otras ocasiones reciben sanciones importantes en su promoción y estabilidad laboral.

      Saludos
      Francis

  6. Creo que con las bases de datos de autores abiertas que tienen las revistas, podría existir una solución que pasa por el data mining.

    En el caso de aquellos autores que trabajan en el seno de grupos experimentados (los más susceptibles de caer en anillos de revisores) debería ser posible discernir en la red de citaciones los autores con ideas discordantes de los amiguetes. De ser así, la selección de revisores podría ser orientada por los autores, pero decidida por un algoritmo que seleccionar (por ejemplo) a un revisor «amigo» y a uno «rival», para dar ambas versiones al editor y que éste decida.

    1. Espaidual, ya se han desarrollado varias técnicas (que usan data mining) para realizar esta labor, pero su uso por parte de las grandes editoriales todavía está en pañales. Técnicamente es fácil detectar de forma automática posibles casos, pero luego han de ser verificados por humanos (labor que no siempre es barata).

  7. Y bueno. Tu mismo lo dices. La solución es tener mas revisores. ¿Y como tener mas revisores? Mediante el estimulo y la competencia. ¿Que estimulo? Implementar un sistema de calificaciones y premios. Veras que después de un tiempo el sistema de revisores ira creciendo y problema solucionado

  8. Me llama la atención el «cuanto más automatizas el sistema, más formas de trampearlo hay», porque me ha llevado un poco al terreno de la «ciencia ficción», pensando en hasta dónde se podría automatizar una revisión (actualmente entiendo que lo automatizado es el proceso de «gestión de usuarios», no la revisión en sí, corregidme si va más allá). ¿Podemos llegar en el futuro, aprovechando las características formales del lenguaje científico, a usar «Watsons» (o computación distribuida o lo que sea) para acelerar o agilizar revisiones (al menos en la parte más técnica), o es un proceso en el que es imprescindible la intervención humana?

    1. Emilio, ni idea, que yo sepa no hay ningún grupo de investigación trabajando en la automatización del proceso de revisión por pares. Pero quien sabe si en un futuro habrá científicos virtuales que puedan actuar como revisores virtuales. Que un algoritmo automático detecta la creatividad, la novedad, la relevancia, el posible impacto futuro, etc. de un trabajo científico todavía es una utopía. Watson es un bebé comparado con un científico virtual.

      1. Gracias por la respuesta. Soy consciente de que la parte «creativa» no es computable, pero veo muchas críticas del estilo «me echaron para atrás el paper por no tener suficientes referencias» y otros tipos de criterios que me parecen, digamos, burocráticos (y por tanto, reemplazables por el rellenado de formularios electrónicos en computadoras). Por eso preguntaba por un lado si cabría la posibilidad actual de automatizar una revisión «técnica» y, por otro, si se podría pasar directamente a evaluar el contenido con computadoras de «ciencia ficción». Pero bueno, creo que me has dejado claras ambas 🙂

        A todo esto, llevo «toda la vida» pensando que el pago que se hacía a estas revistas por publicar era precisamente para que sus editores pagaran a los que hacen las revisiones, y que las cuotas por leer sería lo que cubriría la tirada. Me he quedado helado con lo de que de eso, nada. Como ya han dicho, menudo negocio se han montado a costa de parasitar completamente el trabajo ajeno, qué injusto…

  9. Incluir en el artículo el nombre de los revisores, junto con el número de artículos revisados en los últimos doce meses por el revisor (dato este declarado por el revisor, sin necesidad de estar contrastado).

    1. Víctor, si se incluye en el artículo el nombre de los revisores también hay que adjuntar la propia revisión. Si no, en mi opinión, no aporta mucho. Ya hay varias revistas que lo están haciendo (el revisor puede elegir entre permanecer anónimo o dar la cara ) y en general está funcionando bastante (muchos revisores están dando la cara y haciendo públicas sus revisiones).

  10. Esto de los revisores honestamente: ¿no es una pérdida de objetividad dadas las circunstancias?. A ver: si se pública un artículo sin revisión por pares en una revista sea prestigiosa o no lo sea, ya alguien se encargará de demostrar si el artículo es defectuoso pues que lo es(así de simple). El autor pasará por una vergüenza(vergüenza que una ves Einstein evitó gracias a la revisión por pares, pero que el no hubiera tenido ningún inconveniente en aceptar, si su artículo estuviera equivocado) y tendrá que ser mucho más preciso a la hora de publicar(para que en una revista acepten sus artículos) . Incluso: sin revisión por pares puede que el autor para investigar si no ha cometido cagadas de procedimiento decida hacer su propia revisión por pares: o sea pedirle a un conocido(o experto no conocido) que sepa de su campo que revise su trabajo para ver si esta correcto.
    En cambio con el método actual los científicos suponen que los artículos están revisados por pares del modo correcto y suponen que la información que leen es información fiable y eso puede ser una completa equivocación. Es cierto: puede dar velocidad de procedimiento si efectivamente los artículos están revisados adecuadamente, pero si no lleva a equívocos y situaciones engañosas.
    Esto podría evitarse si cada lector de un artículo científico supone que el artículo no ha sido revisado por pares. Entonces lo leerá con espíritu crítico y de haber errores o cagadas de procedimiento podrá señalarlas en un artículo de contrarespuesta con nombre propio(en vez de un revisor por pares anónimo) obligando a quien se haya equivocado a hacer las correcciones(o a responder que quien se equivoca es quien contrarespondió y porque lo hace) necesarias o a desechar la idea de su artículo o experimentos del mismo.

  11. Un mucho del problema es que el conocimiento se ha compartamentalizado a tal grado, que se necesitan expertos para comprender lo que está publicando cada autor, no cualquiera se anima a una revisión somera de un artículo especializado, y además darlo por bueno o recomendar correcciones.
    Pero ¿quién quiere hacer ese trabajo de revisión?, si de expertos se trata ¿no preferirían estar a su vez investigando o escribiendo para publicar a su vez?, y además ¿a cambio de nada?, porque el «prestigio» es útil para la editorial, pero no pone frijoles en la mesa
    Evaluar como «válido» un artículo, aceptando que «contribuye a ampliar los límites del conocimiento» es muy pretencioso por parte de revistas y revisores, que en teoría se compensa cuando ellos mismos se someten a revisión, y esta se realiza como se debe, pero eso es tan perverso como los sicoanalistas que a su vez tienen que ser sicoanalizados para poder sicoanalizar, o los estados policiacos que no confían en sus propias policías y ponen a otros a vigilarlos.
    ¿Sería demasiado pedir que el conocimiento nuevo, válido, probado, lo demostrara con su mera exposición?, volvemos a lo mismo: se requieren revisores expertos, ¿sería entonces tanto pedir que hubiera revisores/editores profesionales que hicieran esa parte y que les satisficiera tanto como la investigación?, y claro, el pequeño detalle de que hay que pagarles

  12. Artículo muy interesante como casi todos los de este estupendo blog. En mi opinión, dado que la marea creciente de «papers» es imparable, los artículos deberían recibir revisiones muy someras que apenas le lleven tiempo al censor y que solamente detecten y eviten publicar barbaridades muy evidentes.

    En ese marco de «inflación» de artículos de baja calidad en el «mercado», el valor académico del artículo publicado debería hacerse tender a cero, considerando sólamente para puestos académicos, aquellos trabajos que superasen un cierto umbral de reconocimiento, variable según el área. El resto de trabajos sería ruido y sólo aquéllos que han sido valorados por tus pares (a través de sus citas) adquirirían valor real. Publicar por publicar tendría muy poco sentido entonces.

    Idealmente, sería pues el «mercado científico» el que actuaría de censor, premiando aquellos trabajos de mayor calidad y distinguiéndolos de los malos. En definitiva, un esquema que posiblemente aplaudirían los economistas liberales: eliminar regulaciones y que decida el mercado.

  13. Yo la única solución que le veo a este enorme problema recae en las instituciones de investigación. Son estas las que deciden los criterios de calidad a la hora de contratar personal investigador, y mientras su enfoque sea cuantitativo nada cambiará. La ciencia sólo tiene valor bajo las premisas de rigor y calidad, todo lo demás debería ser secundario.

    Por supuesto que pienso que la revisión debe ser rigurosa aunque sea lenta. Y el hecho de que esto pudiera afectar a tu promoción es consecuencia de la precariedad laboral en ciencia, porque si a los científicos se le diera un periodo de tiempo razonable para llevar a cabo sus proyectos la penalización por trabajos no públicados no sería tal. Es desolador que la ciencia se haya contagiado tanto de las inmediatez y la falta de reflexión de otros sectores profesionales, y de su obsesión por cuantificarlo todo.

    Trabajo de postdoc en una universidad de las llamadas top, y a menudo los estudiantes de doctorado terminan su tesis de 4 años con 1 o 2 publicaciones (y no siempre de alto impacto) como mucho, y sin embargo cuando terminan se les abren muchas puertas en las mejores universidades y organismos de investigación para seguir haciendo ciencia. Es decir, existe otro modelo centrado en la calidad y no en la cantidad que sigue vigente. Espero que por mucho mucho tiempo

  14. La ingente cantidad de trabajos publicados y editados en revistas, luego almacenados en base de datos, que se pierden, con la cantidad de tiempo que se echa en ellos. ¿Qué pasa con ellos? Yo tengo trabajos publicados que ya no sé ni donde están, de muchos tengo borradores y revisiones. Pero me pregunto y a esto viene mi comentario, tiene alguna productividad, tanto trabajo, sirve para algo más que para revisiones bibliográficas. Ya estoy jubilado y fuera de los circuitos de publicaciones, en mis tiempos era de otra manera, más complicada diría yo, los medios de producción y de edición de los trabajos era manual y más dificultosa había que echar mucho tiempo en ella, no habían programas ni editores de texto tan potentes y versátiles como ahora, pero en fin a lo que iba ¿Hay algún estudio que hable sobre la productividad de las publicaciones de los trabajos de investigación?

    1. Federico, hoy en día todas las grandes editoriales han digitalizado todo lo que han publicado en el pasado y está accesible (aunque bajo suscripción de pago en la mayoría de los casos); por supuesto, las editoriales más pequeñas no han podido hacerlo, por su alto coste. El trabajo científico es como construir una montaña de arena granito a granito; todos los granitos son necesarios, pero una vez construida la montaña los granitos que están en su interior ya no son visibles y nadie se acuerda de ellos; aún así, sin dichos granitos de arena la montaña nunca hubiera sido construida.

      >> ¿Hay algún estudio que hable sobre la productividad de las publicaciones de los trabajos de investigación?

      ¿A qué llamas productividad? Hay muchos estudios socioeconómicos sobre el impacto de la «productividad científica» en la economía. Y en filosofía de la ciencia se ha estudiado mucho el impacto de la productividad científica «oculta» sobre la «visible» desde los análisis de Kuhn. Busca en Google Scholar «scientific productivity and impact» y encontrarás decenas de miles de estudios sobre el tema.

  15. Creo que la revisión por pares, como las extensas y agobiantes normas que ponen las revistas «serias» para los autores hacen que escriban solo los neófitos y sobrados de tiempo.
    Entiendo que las exigencias de estilo se deben simplemente a que esas publicaciones no tienen, como cualquier revista o periódico, un jefe de redacción y algunos empleados capaces de poner todo en la misma tipografía y estilo. Entonces reclaman todo ese trabajo tedioso y mecánico al escritor (que no está para eso, que odia eso)
    En cuanto a la revisión por pares ¿quienes son los pares para juzgar mi trabajo? ¿con qué criterios, posiblemente ortodoxos, lo harán? ¿abortará el conservadurismo de mis pares la audacia de mis hipótesis y comprobaciones?
    Son demasiadas exigencias para mantener una «seriedad» que termina siendo dudosa.

Deja un comentario