La revisión por pares laxa de arXiv

Por Francisco R. Villatoro, el 31 enero, 2016. Categoría(s): Bibliometría • Ciencia • Noticias • Peer Review (Revisión por pares) • Science ✎ 11

Dibujo20160131 Nicolas Gisin arxiv org fake peer review

El famoso físico cuántico Nicolas Gisin, Universidad de Ginebra, Suiza, está enfadado porque dos de sus estudiantes no pueden publicar en arXiv. No se lo permite un efecto colateral del sistema de moderadores que introdujo Paul Ginsparg para limpiar arXiv de artículos no deseados. Según Gisin los jóvenes investigadores no pueden publicar en arXiv artículos que publican en revistas de prestigio como Physics Letters A (PLA). En su opinión, la moderación en arXiv es una revisión por pares laxa que funciona en detrimento de los jóvenes investigadores.

La diferencia entre todo cuela o casi todo cuela es sutil. Ginsparg empezó creando el sistema de avalistas (endorserment system) que requiere que alguien nuevo que quiera subir manuscritos a arXiv deba buscar a otro que responda por él. Este sistema fue critado por muchos y provocó que el físico bloguero Philip Gibbs creara viXra (por desgracia para él, su servidor de manuscritos no ha tenido el éxito esperado). Luego Ginsparg añadió el sistema de moderación (moderation system) que permite que voluntarios realicen una evaluación por pares laxa de lo que se publica en arXiv. Gisin opina que sólo sirve para penalizar el trabajo de los más jóvenes.

Lo que está claro es que si Gisin hubiera sido coautor del artículo de sus alumnos habría aparecido en arXiv. ¿Por qué no quiso serlo? Lo cierto es que el artículo contiene graves errores, pero lo mismo pasa con muchos otros que se publican en arXiv. ¿Por qué se ha publicado en PLA? Quizás ha influido que los revisores seleccionados se dieran cuenta de que eran estudiantes de Gisin. ¿Sabían los moderadores de arXiv que lo eran? Muchas preguntas sin respuesta. Pero lo importante es que se reflexione sobre la relevancia de arXiv.

Más información en «Nicolas Gisin,» IQOQI Blog, 21 Dec 2015, Sabine Hossenfelder, «Does the arXiv censor submissions?,» BackReaction, 28 Jan 2016, y Zeeya Merali, «ArXiv rejections lead to spat over screening process,» News, Nature, 29 Jan 2016, doi: 10.1038/nature.2016.19267. El artículo de los estudiantes de Gisin que fue rechazado en arXiv es Thiago Guerreiro, Fernando Monteiro, «Light geodesics near an evaporating black hole,» Physics Letters A 379: 2441–2444 (16 Oct 2015), doi: 10.1016/j.physleta.2015.07.017.

Dibujo20160131 Infalling Gaussian wavepackets in the background of an evaporating black hole phys letters a

Yo no quiero opinar ni de forma positiva ni de forma negativa sobre el sistema de avalistas en arXiv. Sigo lo publicado en este servidor desde que apareció en la web en 1993 (gracias a Mosaic). Para mí era todo un placer poder leer artículos de físicos como Edward Witten que se publicaban en revistas a las que mi universidad no estaba suscrita. Por supuesto, siempre he mantenido cierta dosis de escepticismo sobre lo publicado en arXiv. Pero no fue algo que me inquietó nunca; las revistas de prestigio con revisión por pares ofrecen más garantías, pero también publican mucho que debe ser tomado con grandes dosis de escepticismo.

La existencia de listas negras (blacklists) en arXiv no es algo nuevo. Yo tuve constancia por primera vez alrededor del año 2000 gracias al caso de Carlos Castro versus Paul Ginsparg (un resumen del propio Castro). Nunca me importó demasiado. Quizás porque nunca me afectó. Cómo no, soy consciente que el sistema de moderadores conlleva un retraso en la fecha de publicación. Hace años enviabas un manuscrito minutos antes del cierre diario y aparecía publicado unos minutos más tarde (el día siguiente). Ahora puede haber retrasos de hasta varios días en función del moderador que te toque. Pero tampoco es algo importante (salvo casos muy excepcionales). En mi experiencia, tanto como autor como lector, la existencia de moderadores y avalistas no ha degradado el funcionamiento de arXiv.

Dibujo20160131 Infalling Gaussian wavepackets evaporating black hole phys letters a

Quizás estés interesado en saber lo que le ha pasado a Gisin. Nos cuenta que en 2014 dos de sus estudiantes de doctorado escribieron un artículo extraño. Extraño porque era sobre agujeros negros y radiación de Hawking, cuando estos doctorandos hacían la tesis en óptica cuántica experimental. Y más extraño aún porque la conclusión del artículo es que es imposible entrar en un agujero negro, ya que el intento haría que se evaporara al instante mediante radiación de Hawking. Gisin confiesa que pensó que algo debía estar mal, pero como no es experto en agujeros negros, no fue capaz de encontrar ningún error.

Los estudiantes enviaron el manuscrito a arXiv, pero el artículo fue retenido (recibieron un correo electrónico: «your paper is on hold»). Sin mayores explicaciones, varios meses más tarde recibieron otro correo electrónico indicando que su artículo había sido rechazado: «your paper has been rejected from the arXiv». Gisin no daba crédito. No sabía que un artículo pudiera ser rechazado de arXiv. Gisin no lo entendía y recomendó a sus alumnos enviar el artículo a una revista. Los dos revisores de Physics Letters A aceptaron el artículo con pequeños cambios.

Sabine Hossenfelder en su blog comenta en detalle el grave error del artículo publicado en PLA. Según ella, cualquier experto se habría dado cuenta y habría rechazado de forma terminante el artículo. En su opinión, los revisores del artículo en PLA no eran expertos en física de agujeros negros y radiación de Hawking. Quizás el moderador de arXiv que les tocó a los dos estudiantes lo era, observó el error y decidió rechazar el artículo. En opinión de Sabine, el artículo debería aparecer en arXiv, pues allí hay muchos artículos con errores muchos más graves.

La queja de Gisin se centra en la famosa lista negra de arXiv (como el gato de Schrödinger nadie sabe si existe o no existe, pues de forma oficial no existe, pero en la práctica es como si existiera). Los dos estudiantes enviaron un nuevo artículo a arXiv sobre cosmología. Fue inmediatamente rechazado. En opinión de Gisin, la lista negra existe. Más aún, afecta de forma negativa a los jóvenes investigadores que tratan de publicar en arXiv sus primeros manuscritos. Según Gisin, como alguno sea rechazado, tendrán muchos problemas para poder publicar ninguno más.

Dibujo20160131 censored arxiv blacklist

La existencia de una lista negra en arXiv ha sido un tema muy debatido en los últimos tres lustros. Como dice Gisin, publicar en arXiv es importante para los investigadores jóvenes en ciertas áreas de la ciencia (sobre todo de la física). ArXiv tiene más de 1,1 millones de artículos y publica unos 9000 nuevos cada mes. Para cuestiones de prioridad sobre descubrimientos, la publicación del manuscrito en arXiv es un sistema bastante fiable. Aunque no sé si tendrá validez jurídica.

En Nature, Daniel Gottesman, moderador de arXiv y miembro de su comité asesor en física, dice que no hay lista negra en arXiv (aunque se intenta detectar a los usuarios que tratan de reenviar varias veces el mismo artículo que ya fue rechazado). Además, afirma que los moderadores no pueden discutir ningún caso particular de forma pública. Por tanto, arXiv no tiene una revisión por pares útil para los autores (comentarios que puedan mejorar el contenido del artículo), pero tiene una revisión por pares laxa (que trata de evitar la publicación de artículos ostentosamente erróneos).

Gottesman aclara que si un artículo rechazado en arXiv es aceptado en una revista, eso no significa que arXiv sea quien lo ha hecho mal. Paul Ginsparg, fundador de arXiv, afirma que el sistema de moderadores tiene por objeto garantizar una calidad mínima de los artículos que aparecen diariamente en arXiv. Varios científicos reclaman que el sistema de moderación sea más transparente y que, en caso de rechazo, la razón sea comunicada a los autores. Sin embargo, Ginsparg considera que dicho sistema implica un coste que arXiv no puede permitirse. Sin más financiación, arXiv no puede emular a una revista científica.

Mucha gente pone a arXiv como ejemplo de lo que podrían ser las revistas científicas del futuro. Pero a veces se olvida que sin una revisión por pares transparente, desaparece uno de los efectos colaterales de la revisión por pares, mejorar los artículos de los autores. Los comentarios de los revisores, a veces, aportan información que mejora mucho la calidad final del artículo (aunque se publique en otra revista).

Para acabar me gustaría recordar una cosa que se olvida fácilmente. Gestionar un servidor de manuscritos como arXiv no es gratis. Su coste es muy alto. Los gastos superaron un millón de dólares en 2015 (775.000 dólares en agosto); más información en arXiv budgets. Sin lugar a dudas, arXiv, su financiación y su política de moderación requieren una reflexión.



11 Comentarios

  1. Blacklist por Backlist 😉 (y «cómo no» por «como no»).

    Supongo que será una tontería, pero el tema de las blacklists, de existir, tendría una solución relativamente simple aplicando un sistema de envío «anónimo» por parte de la universidad y, si se acepta el paper, se les envía la versión con la autoría añadida. Aunque imagino que, por la temática, alguno ya se olería de dónde viene el paper, pero bueno… si el doble ciego sirve en la metodología científica, debería servir ahí también.

    En fin, es pensar en voz alta, imagino que será más complejo que eso.

      1. Cada sitio tiene la politica que por necesidad y/o conveniemcia decide tener y, respecto a eso, no hay lugar para criticas.

        Supongamos que el tema de mi tesis en preparacion analizar las causas de la dificultad para compatibilizar cuantica con relatividad general. Se que en arxiv solamente encontrare ideas basadas en cuerdas, en supersimetria, en mond, etc. Y demasiada gente ha encontrado callejones sin salida transitando ese camino. Si en arxiv todo es lo ya trillado, seria logico buscar fuera de arxiv. Y fuera de todo lo que padezca el mismo tipo de sesgo, o el mismo tipo de miopia que arxiv. Pero ni ebrio me atreveria citar algo publcado por ejemplo em vixra, porque hacer eso equivale llevar en la frente la mancha que el ambiente academico pone a quien cite algo de vixra, infependientemente de la calidad de ese algo.

        Donde estan entonces el sesgo y la actitud prejuzgadora ? Estan en el hecho de existir arxiv ? O estan internalizadas en mi y en muchos individuos on una dosis de osadia y de apertura tan baja como la mia ?

        Mientras personas no salgan del redil por preservar la imagen que mustran ante la comunidad cientifica, esta comunidad se parecera a la comunidad de musicos, cantaores y bailaores del flamenco, que ofrecen mucho pero no los saques del reducto.

        La fisica tuvo y tiene grandes mentes a su servicio, laborando dentro de pautas que aplicadas a la necesidad actual de expandir las fronteras trilladas, llevan a callejones sin salida publicando iterativamente mas de lo mismo, cambiando solamente el envoltorio.

        No es arxiv el problema ni son los sitios con politicas similares. Es cada individuo que prefiere no jugarse como se jugo en 1924 Louis de Broglie, presenrando en su tesis una novedad radical con una osadia inmensa. No ignoro que de Broglie pertenecia a la nobleza y np necesitaba hallar en la ciencia su fuente de sustento. Pero necesitaba imperopsente hallar su fuente de buena reputacion.

        1. Carlos, existe una versión de arXiv sin ningún tipo de restricción, donde cualquiera puede publicar lo que quiera, se llama viXra (https://vixra.org/). En rigor no hay ninguna diferencia entre viXra y arXiv, salvo que en arXiv no puede publicar todo el mundo, ni se pueden publicar todas las especulaciones posibles, mientras que en viXra, repito, no hay ninguna restricción. Obviamente, leen viXra pocos científicos en activo que leen todos los días arXiv.

          1. Buenas tardes Francisco. Permitime destacar unos detalles de lo que intenté dar a entender. El problema que molesta y obstruye a las personas que se quejan no está en arXiv, ni en su política de moderación. Tampoco estoy acusando a la mentalidad iterativa de quienes, independientemente de la vocación por expandir fronteras, tienen a la ciencia como fuente de recursos monetarios para su vida personal. La necesidad de asegurar la vida personal es un abrasivo que desgasta la puesta en práctica de los planes osados (como ese plan que de Broglie desarrolló) y promueve el tránsito por caminos trillados que, muchas veces, conducen al desperdicio de talentos. De todo eso no tiene culpa arXiv ni es viXra un reaseguro para evitarlo. El problema está en nosotros, en la conciencia individual, que antecede a la mentalidad colectiva y la realimenta en el andar. Entiendo que abandonar el encierro iterativo es algo similar a abandonar el teleférico cuando ha tomado altura, acción posible solamente para quienes han subido al teleférico con algún tipo de mini ala delta y, de esos casos, hay una escasés tremenda. La falta de osadía llega al extremo de promover la hipocresía. En qué forma ? Nos reunimos, exponemos, señalamos limitaciones y carencias de la ponencia propia y de la rama a la que adscribimos. Tenemos conciencia de estar haciendo eso dentro del redil que mil veces ha conducido al callejón sin salida, independientemente del talento de quienes han llegado a esa situación. Eso es desperdicio de talento, causado por nuestra tendencia personal a la hipocresía, que nos lleva a actuar como quien ignora la existencia del redil, simulando que todo avanza con el rumbo deseable y que los obstáculos tienen todo el aspecto de ser solubles dentro del redil. Es eso lo que intenté dar a entender.

  2. Después de haber «uploaded» durante años mis artículos en arXiv sin que fuera rechazado ninguno, resulta que el último si lo ha sido, y de forma tajante, con amenazas de cerrarme el acceso a arXix si insistía pidiendo una justificación. ¿Porque será? Su titulo no es nada escandaloso: Dos nuevos modos de obtención de la constante de acoplamiento del muón y del electrón. El factor g y el origen de la masa

    Los que tengáis acceso a Academia.edu o ResearchGate.net lo podréis ver, o podéis pedírmelo por e-mail: georgesardin@gmail.com. Juzgáis por vosotros mismos que es lo que no va en este artículo. En mi opinión, lo que claramente no va es que no se acoge al modelo estándar de las partículas elementales, y por esa razón ha sido censurado. Lo extraño es que a pesar que todos mis artículos anteriores son todos del mismo corte ninguno había sido rechazado. ¿Pues que es lo que ha cambiado? No será que la mano larga de los grandes centros de investigación, en particular el CERN, está ahora presente en arXiv. La imparcialidad de sus revisores queda por ver.

    ¿De donde salen los voluntarios que realizan la evaluación por pares. No será que están protegiendo su larga lista de artículos, todos acoplados al modelo estándar? Una “ciencia” que se niega a confrontar diferentes planteamientos no es ciencia sino autocracia, sustentada por los grandes centros de investigación en defensa de sus intereses particulares, a la vez que traicionando el genuino espíritu científico. Debido a su profundo sectarismo, los defensores del modelo estándar están totalmente negados a considerar propuestas alternativas, que engreídamente ignoran desde su suficiencia institucional.

    El mandato científico requiere una constante valoración de puntos de mira distintos, y el encerramiento en un dogma no es una actitud científica. Los nuevos paradigmas surgen cuando se levantan barreras, cuando no se deja de cuestionar las creencias establecidas, cuando uno se deshace de las anteojeras propiciadas por la inseguridad que nos genera el apartarse de lo supuestamente establecido y por la seguridad que proporciona el conformismo del discurso oficial. De vez en cuando es necesario cuestionar la creencia enraizada. Sin este cabal paso no existiría el progreso.

    “A bon entendeur, salut”.

    1. Georges Sardin dice:
      2 febrero, 2016 a las 4:59 pm

      Después de haber «uploaded» durante años mis artículos en arXiv sin que fuera rechazado ninguno, resulta que el último si lo ha sido, y de forma tajante, con amenazas de cerrarme el acceso a arXix si insistía pidiendo una justificación. ¿Porque será? Su titulo no es nada escandaloso: Dos nuevos modos de obtención de la constante de acoplamiento del muón y del electrón. El factor g y el origen de la masa (…)

      – Hola Georges Sardin, concuerdo mucho con tu punto de vista. Sólo eso.

  3. Vaya, pues yo ando detras de publicar mis primeros articulos «caseros» de mis temas de fractales, así que creo que tendré que buscarme algún profesor que me «recomiende» antes!

    Bueno, mi opinión es que arXiv debería usar una metodologia diferente: si no tienes dinero para hacer revisión por pares, pero tienes muchos usuarios colaborativos, usalos, haz que ellos mismo voten y detecten artículos malos y articulos buenos.

    Yo pondría un sistema de karma y puntos de forma que, similar a lo que ocurre en meneame (bueno, excepto que meneame permite votos negativos «dañinos», eso lo quitaría) se pueda evaluar la calidad de los votos de cada usuario (karma podría ser el número de artículos que ya has publicado en arXiv y aprobados por la comunidad) y el apoyo que cada articulo recive por los usuarios que lo leen y votan podría entonces valer de «filtro». Podrías ver los últimos articulos de tu tema «en portada», es decir, aprobados por la comunidad, o los ultimos recibidos pendientes de votación, los descartados (yo nunca rechazaria un artículo, solo que acumularía negativos si es malo, pero hasta en un artículo «malo» puede haber una joya escondida!).

    Sería algo así como un like, pero en estre caso rezaría algo como «si escribiese sobre esto, seguramente citaria este articulo sin rubor». También exitiría un negativo tipo «no menconaría este artículo, aunque escribiese justo sobre este tema».

    Además, creo que sería interesante sacarle luego partido a esas votaciones al estilo Amazon: los que votaron como tú a los últimos artículos que has evaluado también leyeron estos otros y les gustaron… «.

    Por último, a nivel histórico, podría re-evaluarse a cada usuario mirando si sus negativos y positivos coincidieron o no con lo que finalmente ocurrió con cada artículo: si alguien suele acertar, es más creible y aumenta su «long-term karma».

    Ah! Y los comentarios a cada artículo serían abiertos, claro! Si el autor quiere hacerles caso y re-publicar el artículo corregido, los votantes serían avisados por si quieren reevaluar su puntuación.

    1. Sergio, cuando dices «con lo que finalmente ocurrió con cada artículo» ¿te refieres a una vez revisado por pares convenientemente?, si es así la idea me parece excelente, pero si no es así, la verdad que le veo bastantes inconvenientes; la democratización no creo que sea buena idea para la ciencia.

  4. Hola. Quisiera llamar vuestra atencion y sacar a colacion el nombre este: » Harold Aspden «. ¿ Es conocido por este mundillo de la fisica. Si nó, creo que merecera vuestra atencion.

    Un saludo

Deja un comentario