No te creas ninguna gráfica, aunque sea muy bonita

Por Francisco R. Villatoro, el 17 junio, 2015. Categoría(s): Ciencia • Matemáticas • Mathematics • Noticias • Science ✎ 5

Dibujo20150426  Many different datasets can lead to the same bar graph - journal pbio 1002128 g001 PLOS

En un artículo científico todos los gráficos engañan. Su misión es mentir. Apoyar la hipótesis de los autores. Ilustrar fuera de toda duda que su hipótesis es la más adecuada. Pero los mismos datos se pueden mostrar de muchas formas diferentes. Algunas mienten más, otras mienten menos, pero todas mienten. Los autores de los artículos científicos siempre eligen la que más les conviene a ellos, poniendo la excusa de que es la que más le conviene al artículo.

En las revistas de fisiología y medicina se abusa de los diagramas de barras. La razón es que ocultan mejor los datos anómalos y los datos que contradicen la hipótesis de los autores. En esta figura se muestran cuatro conjuntos de datos que dan lugar al mismo diagrama de barras. Los cuatro conjuntos son muy diferentes, pero el diagrama de barras oculta la diferencia. Quizás habría que prohibir el uso de diagramas de barras (bar plots) en artículos científicos, sustituyéndolos siempre por nubes de puntos (scatter plots). O quizás hay que sustituirlos por diagramas de caja y bigotes (box plots). Quizás, aunque no siempre conviene a los autores.

Nos lo propone Tracey L. Weissgerber et al., «Beyond Bar and Line Graphs: Time for a New Data Presentation Paradigm,» PLoS Biology 13: e1002128, 22 April 2015, doi: 10.1371/journal.pbio.1002128.

Dibujo20150426 Bar graphs and scatterplots convey very different information - journal pbio 1002128 g003 PLOS

Uno de los grandes déficits en la formación de los investigadores es la presentación de datos (o lo que los informáticos llamamos visualización de datos). Los que hemos impartido cursos de esta materia siempre recomendamos con la boca grande que se usen los gráficos que mejor reflejen los datos y con la boca pequeña que se usen los que mejor apoyen la hipótesis en liza. Lo sé, la presentación de los datos es la base de nuestro conocimiento científico, pero hay que publicar y una buena selección de las gráficas es un valor añadido a la hora de la aceptación del artículo durante la revisión por pares.

Muchas revistas sugieren incluir los datos originales como información suplementaria del artículo científico para que los lectores interesados puedan repetir la presentación de los resultados. Pero seamos sinceros, qué revisor toma dichos datos y los usa para repetir las figuras de los autores de forma crítica. Si no lo hacen los revisores, qué lector lo va a hacer. Se trabaja por convenio. Si lo habitual es usar un diagrama de barras, se usa sin otra justificación. Aunque el rigor afirque no es el diagrama más adecuado en todos los casos.

Decía Juan Ignacio Pérez, aka @Uhandrea y @Un_tal_Perez, que «La ciencia no busca la verdad,» Next, Voz Pópuli, 08 Jul 2014. «En ciencia no se debe considerar nada como probado, si no es con carácter provisional. [Aunque] para la mayor parte de la gente la ciencia es una colección de hechos probados. El poder de la ciencia radica en su capacidad para disponer de mejores explicaciones cada vez.» He recordado su artículo porque él es fisiólogo y porque Weissgerber et al. hacen una revisión sistemática del uso de diagramas en artículos científicos de fisiología. Pero además porque muchas veces se asume que las gráficas tienen un gran poder explicativo. Y no es así. Toda gráfica debe llevar una buena explicación y dicha explicación debería justificar, entre otras cosas, la conveniencia del formato seleccionado para la gráfica. Si falta una explicación de dicho formato, asumiendo que por convenio se está usando el más habitual se está mintiendo. Será una mentirijilla, pero mentira al fin y al cabo.

Por cierto, recomiendo leer a César Tomé, «Apparatus: Gráficos,» Cuaderno de Cultura Científica, 21 Abr 2015, que nos recuerda: «el gráfico se remonta por lo menos hasta mediados del siglo XVII, cuando Robert Hooke y Christopher Wren inventaron un reloj meteorológico. (…) [Aunque], para 1800 apenas se había diseñado un puñado de gráficos similares, (…) para 1820 la representación gráfica de los datos se había hecho lo suficientemente habitual como para no necesitar explicaciones adicionales.»

También recomiendo leer a Antonio Martínez Ron, «La detective de imágenes científicas,» Fogonazos, 16 Jun 2015, que se hace eco de Richard Van Noorden, «The image detective who roots out manuscript flaws,» Nature News, 12 Jun 2015, doi: 10.1038/nature.2015.17749.



5 Comentarios

  1. Querido Francis,
    Dos comentarios:
    – Las dos primeras frases son excesivas y engañosas. Si un artículo se envía para publicación es, entre otras cosas, para tratar de convencer a la comunidad científica de una hipótesis concreta y, evidentemente, los gráficos que acompañan tienen que servir para ello. Desde luego que puede haber sesgos a la hora de seleccionar los estadísticos y las gráficas resultantes; la objetividad absoluta en ciencia es una batalla diaria, y para ello los científicos tenemos que convertirnos en máquinas, como cuento en «Una metáfora de ida y vuelta» en la Revista Mètode (no encuentro ningún enlace al artículo en la red).
    – Por otro lado, comparto plenamente la frase «La ciencia no busca la verdad», de Juan Ignacio @uhandrea, pero en su contexto adecuado. Es decir, en el marco de la epistemología. Esa frase, en el artículo que escribes, está sacada de contexto y, de nuevo, conduce a engaño: no tiene nada que ver con la falta de verdad que efectivamente hay en el sesgo que se comete al seleccionar estadísticos y tipos de gráficas.

    Por lo demás, tu artículo me parece oportuno e interesante -como siempre-, y estoy de acuerdo en que, en general, los científicos tenemos un déficit importante a la hora de manejar y presentar los datos.

    ¡Un abrazote!

  2. Yo creo que incluir los datos originales es fundamental. Ahora incluso se puede distribuir el código que genera las figuras. Si no se hace es por falta de incentivos y por «estrategia». Lo primero lo entiendo, lo segundo creo que es nocivo para la ciencia.

    Una anécdota relacionada. Uno de los artículos más citados en el campo que trabajo contradecía a un artículo del mismo autor de un par de años antes. Lo único que cambiaba eran un par de criterios aparentemente menores en la selección de la muestra. Los datos de la muestra provienen de una base de datos pública pero la lista de elementos que seleccionaba para el estudio no aparecían en la publicación. Al ver esto, le pedí al autor la lista de elementos de la muestra solo para comprobar que realmente salían esos resultados. Evidentemente me dijo que no, el motivo era que podía usar su muestra para «competir» con ellos. A partir de ese momento, creer en los resultados de ese artículo se convirtió en una cuestión de fe. Como digo, uno de los artículos más citados.

  3. En Nature methods hay un especial sobre estadistica llamado «points of significance». Es «abierto» y merece la pena ser leido de cabo a rabo por estudiantes de grado, master, doctorado, postdocs y jefes de grupo.
    http://www.nature.com/collections/qghhqm/pointsofsignificance

    Dicho esto, yo como «referee» siempre pido que en lugar de diagramas de barras pongan scatter plots (diagramas donde se ve cada «medida», con o sin las barras si les gustan). Desgraciadamente muchas veces creo que es una lucha perdida, porque a pesar de no aceptar el articulo sin tener representación individual de los datos que conforman «el diagrama de barras», se suelen aceptar los artículos (imagino que los otros referees no le dan tanta importancia). Y esto es algo «light». Que si obligásemos a explicar en que momento del diseño experimental se decidió como se analizarían los datos….

    Hace falta que las grandes editoriales se pongan de acuerdo y exijan de forma conjunta un análisis estadístico serio y fundamentado… porque se ve cada articulo publicado que da vergüenza.

Deja un comentario