El dogma es sencillo: publicar es garantía de calidad. La investigación publicada en revistas internacionales es de buena calidad. Un científico no logra publicar algo porque es de mala calidad. Un dogma cada día más insostenible. Un dogma que todos tenemos que aceptar. Las revistas científicas no pueden ser garantes de la calidad. Las editoriales que publican las revistas tienen un negocio que sostener y la economía dicta las normas para asegurar beneficios. La calidad científica por sí misma no genera beneficios. El número de artículos publicados sí que los genera. El número de citas que recibe un artículo sí que los genera. El negocio editorial de las revistas científicas depende del índice de impacto. Maximizar el índice de impacto es el objetivo prioritario. La cantidad de artículos publicados ayuda a lograrlo. La calidad científica de lo publicado no lo garantiza. La ciencia se ha convertido en un negocio: el negocio de las publicaciones científicas. Nos lo recuerdan Donald Siegel y Philippe Baveye, «Battling the Paper Glut,» Letters, Science 329: 1466, 17 September 2010.
El concepto «publicar o perecer» (publish or perish) apareció en EEUU en los 1950 y fue muy criticado en su momento, pero en los 1980 se impuso cual dictador que somete a la comunidad académica. Las universidades empezaron a utilizar de forma sistemática el número de artículos publicados al año por cada profesor como medida «fiable» de su productividad. Los investigadores se dedicaron a publicar a destajo seccionando su trabajo en las unidades más pequeñas posibles que fueran publicables («salami slicing«). Los artículos escritos por muchos autores (en los que algunos ni siquiera se han leído el manuscrito) se convirtieron en la norma. Muchos doctorandos guiados por sus directores de tesis acabaron publicando de forma separada cada capítulo de su tesis doctoral, enviándolos a revistas incluso antes de la defensa de su tesis. A veces la defensa se ha de retrasar hasta que el doctorando tenga cierto número de artículos publicados (o aceptados) en revistas. Desde finales de los 1980 hasta finales de los 1990 el número de artículos publicados al año creció entre un 200% y un 300% (según el campo).
Ver la espina en ojo ajeno es más fácil que ver la astilla en ojo propio. Los males del publish or perish se están observando con toda su crudeza en la investigación que emerge de países como China e India. Estos países han imitado a Occidente hasta el punto de ofrecer incentivos o recompensas monetarias a los investigadores que logran un mayor número de artículos publicados en revistas de calidad (impactadas). Por ello, el número de artículos producidos por estos países está creciendo a pasos agigantados. En 2008, China superó a los Estados Unidos y se convirtió en el segundo productor científico (en número total de artículos publicados) después de Europa. Los índices bibliométricos que miden la calidad de las publicaciones indican que Estados Unidos es el mayor productor de ciencia de calidad del mundo, con diferencia. Aún así, muchos índices bibliométricos (como el índice h) incentivan que los investigadores publiquen un gran número de artículos para inflar sus índices de calidad (con autocitas o citas a «amigos» que luego les citen a ellos).
Las principales revistas científicas publican un número tan grande de manuscritos que la mayoría de los editores principales son incapaces de garantizar la calidad científica de lo que publican. Además, la revisión por pares cada día es más difícil de gestionar. Muchos editores encuentran muchos problemas para encontrar revisores entre los especialistas de renombre y tienen que recurrir a investigadores de menor prestigio. Los científicos de prestigio además de revisar artículos para revistas tienen que revisar propuestas de proyectos de investigación e informes gubernamentales. Sin embargo, la revisión por pares no es valorada por las instituciones académicas como mérito científico. Los revisores trabajan gratis para las grandes editoriales de publicaciones científicas sin recibir nada a cambio. Por ello, cada día que pasa es más difícil que un científico acepte revisar un artículo por amor al arte.
Donald Siegel y Philippe Baveye afirman en su artículo que, bajo ninguna circunstancia, el número de artículos publicados debe usarse como criterio para otorgar una plaza, promocionar, o clasificar a las instituciones académicas. Siempre se debería limitar el número de artículos al año que un investigador puede incluir como garantía de la calidad de su trabajo en su propio curriculum vitae adjunto a una solicitud. En los proyectos de investigación también se debería limitar el número máximo de artículos propios que se incluyan. El objetivo ideal es premiar la calidad y no la cantidad. El objetivo de las instituciones debe ser premiar a los investigadores que guían su trayectoria académica por la calidad y no por la cantidad.
Donald Siegel y Philippe Baveye también nos recuerdan la importancia vital de la revisión por pares en la ciencia actual. Debería implantarse algún mecanismo (algún tipo de índice bibliométrico) que premie a los revisores que realizan un trabajo de calidad (los editores y los propios autores podrían cuantificarlo de alguna manera). La formación en cómo revisar artículos científicos debería ser parte íntegra de la formación predoctoral y postdoctoral de los investigadores jóvenes. La eficacia de la revisión por pares es la herramienta clave para garantizar la calidad científica de lo que se publica. Los investigadores tienen que recordar que cuanto más artículos se publiquen en el mundo, más ineficiente será la revisión por pares. El dogma debe cambiar: una revisión por pares rigurosa es garantía de calidad.
Toda la razón, al fin y al cabo un negocio en el que no se busca «innovar», ni «investigar» xddd ni nada de eso, si no coger puntos para la siguiente plaza de turno y si se alarga algo para dos publicaciones en lugar de una mejor que mejor.
Algunos producen coches, otros venden cajas y otros producen articulos y los cobran a través de subvenciones y otros «artefactos».
Excelente post!
En éste como en otros temas (ej. política), me resulta muy difícil no ser suspicaz.
Sólo hay que echar un vistazo a las maravillosas metas a las que ha llegado el genio humano ¡¿y no somos capaces de establecer criterios objetivos en asuntos «domésticos»?! (en tal o cual cosa).
No, claro que no, lo que pasa es que el dinero es el dinero (poder, prestigio, …) y resulta muy fácil mirar para otro lado.
Así, TODOS están mirando para otro lado (aunque para conseguir fondos, el Conocimiento es lo primero, claro).
Este tipo de cosas ayudan a comprender actitudes como la de Perelman.
Ahora que disponemos de Internet sería relativamente sencillo establecer un sistema público nacional y/o internacional, para la evaluación de la producción científica, infinitamente más ecológico y preciso que el actual. Como ventajas adicionales, el acceso a la producción científica sería gratuito, y permitiría evaluar a los “evaluadores”, es decir, que si alguien (acreditado en el sistema) revisar un artículo, que se pueda conocer clara y abiertamente su opinión al respecto, y por supuesto, que su trabajo sirva para engordar su currículum personal (normalmente revisar a fondo un artículo ajeno no es cuestión de 5 minutos). Esto no es una quimera. Podría ser una realidad en breve tiempo, si realmente hubiese ganas de arreglar este problema.
SISTEMAS DE EVALUACIÓN DE IDEAS:
Los sistemas «cerrados» (unos pocos elegidos por otros pocos no elegidos por nadie) de evaluación de ideas (sean las que sean) conducen a la siguiente situación -es una ley de evolución de sistemas- (a pesar de la buena voluntad de las personas):
(1) El establecimiento de élites cuya principal misión es el mantenimiento del status quo (aún no he conocido a nadie que decida echarse a sí mismo del trabajo por que hay un candidato mejor) … y mucho menos a un científico dar marcha atrás en sus teorías … (porque la gente entra con nómina-fija en la universidad, y le da un ataque de ego de padre y muy señor mío) (la mayor concentración de tontos con egos estratosféricos está en las universidades … y los mismos que estáis en la universidad conoceréis casos a montones).
(2) El «embudo» de las ideas: Al final todo el mundo acaba haciendo lo mismo y de la misma manera, porque si lo haces de otra, nunca llegarás a ser «élite» (si hay alternativas -o correcciones- a la relatividad, o a la mecánica cuántica, o a otras cosas «sagradas» es algo que nunca sabremos, porque nadie investiga alternativas -se investigan «alternativas» pero DENTRO de los límites que preserven el propio prestigio -aunque dudes (razonablemente, y desde una posición formada e informada) de la relatividad o alguno de sus aspectos con algunos ejemplos justificados, no hay «huevos» a decirlo en voz alta por temor a quedar en ridículo ante los colegas-).
(3) El poder del prestigio (ligado al dinero) determina el futuro: Escribe un artículo en el MIT, como doctorando de fulano de tal, y publicarás. Escribe el MISMO (palabra por palabra) artículo desde españa, camboya o la india y nunca jamás será publicado. (Ejemplo: todo el mundo atontado con las cuerdas y con lo que sea que las élites del dinero decidan poner de moda).
CONCLUSIONES:
En lo que respecta a la evaluación de ideas, sistemas más abiertos donde circule más el aire y donde haya posibilidades para todo el mundo -algo quizá posible ahora gracias a Internet- podría mejorar todo este estado de cosas.
En cambio, otros vicios de la ciencia y la universidad (problema de la selección de personal) sólo se pueden corregir si se producen cambios sociales-económicos fuera de la universidad. Actualmente, pillar plaza en la universidad es un CHOLLO con mayúsculas -comparado con lo que hay fuera- y eso provoca que la carrera no sea por hacer ciencia, sino por pillar plaza. Esto NO se puede solucionar desde dentro, sino desde fuera: es necesario que fuera (fuera del funcionariado) existan trabajos bien remunerados y en buenas condiciones … algo cada vez más improbable.
NOTA:
Observar que no digo que hay cosas que funcionan mal porque la gente sea mala o perversa (ni hablo de «conspiraciones» ni de la «ciencia oficial» ni otras frikadas que se leen por el Internet). Digo que siendo la gente buena, honesta, e intentando hacer las cosas lo mejor posible, con todo su interés y dedicación, a pesar de ello, las reglas de los sistemas socioeconómicos en que se desenvuelven estas actividades conducen a resultados no deseados (e inevitables).
Un cordial saludo.
No hay que ser tan pesimista. Afortunadamente siempre hay alguien que va por libre, fuera del sistema. Por ejemplo, un caso reciente que he encontrado buceando por Internet es este: http://www.isodimensional.com/PDF/Hacia%20la%20discretizacion_Enero_2009.pdf, que me parece un enfoque novedoso y valiente, aunque creo que debería estar en inglés, si quiere que alguien le haga caso. Y es que amigos, el glamur que da el inglés por sí solo, creo que en España representa al menos el 70% del éxito (tengo referencias fidedignas sobre un seminario organizado por una universidad española, donde se hablaba en inglés, incluso CUANDO TODOS LOS ASISTENTES ERAN ESPAÑOLES).
Pero volviendo a lo que comentas, el que todo el mundo acabe haciendo lo mismo, y de la misma manera, en gran parte es culpa nuestra, pues son (o somos) muchos los que vamos “donde va Vicente”, entre otras razones por comodidad, ya que se requiere criterio propio para evaluar y/o defender los resultados, que la mayoría da de lado. En consecuencia, los buenos investigadores (que son los que tienen criterio propio) normalmente pasan de meterse en berenjenales, más que nada por “afición alimenticia”.
Según mi comentario previo, este panorama desolador que comentas podría mejorar radicalmente, si se lleva a Internet la evaluación de la producción científica, de modo que no sólo los evaluados, sino que también los evaluadores se impliquen abiertamente en sus afirmaciones sobre un trabajo dado, perteneciente a su área de acreditación.
Yo ya lo he comentado varias veces en este blog. La solución es PAGAR a los autores y revisores por su trabajo. Eso haría pensar a más de un editor el publicar un artículo malo, pues tendría que pagar igualmente al autor. De esta forma reduciríamos la cantidad de artículos drásticamente.
Un grupo de compañeros de trabajo y yo, estamos haciendo planes para lanzar una revista de estas características (y encima abierta). La revista se financiaría con publicidad tanto en el portal como intercalada en los artículos. Una forma muy parecida a como hacen las revistas de divulgación.
Además, lo de poner publicidad en la web, Springer lo hace (sin pagar a los autores ni a los revisores, por supuesto).