Los entresijos del duro varapalo a la imagen por resonancia magnética funcional

Por Francisco R. Villatoro, el 8 julio, 2016. Categoría(s): Ciencia • Noticias • Redes de Neuronas • Science ✎ 10

Dibujo20160708 fmri studies of the brain with high false-positive rates

Ya lo sabes. Nuevo varapalo a la imagen por resonancia magnética funcional (fMRI). Tras ganar el premio Ig Nobel de Neurociencia en 2012, por un trabajo científico de 2010, la fMRI ha sufrido múltiples varapalos. Los golpes con mayor saña se los ha dado el sueco Anders Eklund. Ahora en PNAS ha generado dudas sobre posibles falsos positivos en unos 40.000 artículos publicados en PubMed en los últimos 15 años. ¡Qué tío! Cual David contra Goliat, su artículo destrona a 40.000.

¡Qué barbaridad! Pero, cuidado con la cifra, el propio Eklund estima que los falsos positivos serán unos 3.500 artículos (su cálculo en Matlab), el resto están a salvo de la quema. ¡Menos mal! Ya sabrás que más del 50% de los artículos científicos experimentales son poco fiables y no replicables, luego se trata de un porcentaje bajo y con poca influencia. ¡Gracias! Más aún, desde las fMRI a salmones muertos «viendo» imágenes, todos los neurocientíficos y radiólogos que usan fMRI en sus investigaciones saben que la interpretación de sus resultados debe ser realizada con extremo cuidado. Todos ellos son muy conscientes de los problemas reseñados por Eklund en su artículo. Y todos los tienen en cuenta en sus artículos científicos. ¡Todos!

Eklund ha logrado su objetivo, publicar su tesis doctoral en PNAS, y yo me alegro, pero no nos alarmemos en exceso. El artículo de la polémica es Anders Eklund, Thomas E. Nichols, Hans Knutsson, «Cluster failure: Why fMRI inferences for spatial extent have inflated false-positive rates,» PNAS (28 Jun 2016), doi: 10.1073/pnas.1602413113 [open access]; su artículo anterior es Anders Eklund, Mats Andersson, …, Hans Knutsson, «Does parametric fMRI analysis with SPM yield valid results?—An empirical study of 1484 rest datasets,» NeuroImage 61: 565–578 (Jul 2012), doi: 10.1016/j.neuroimage.2012.03.093.

¿Pero que es lo que nos «vende» Eklund? «He venido ha hablar de mi libro…», perdón, de su software BROCCOLI. Su objetivo es que sea usado por todos los que usan fMRI en lugar de otros software como SPM (Statistical Parametric Mapping), FSL (FMRIB Software Library) o AFNI (Analysis of Functional NeuroImages), este último que usa el algoritmo 3dClustSim (que según él son «deficientes»). Su software es el mejor y sus artículos en PNAS y NeuroImage así lo demuestran. ¡Ojo al dato! Su software habría «salvado» los 40.000 artículos «dudosos». Más información en Anders Eklund, Paul Dufort, …, Stephen LaConte, «BROCCOLI: Software for fast fMRI analysis on many-core CPUs and GPUs,» Frontiers in Neuroinformatics 8: 24 (14 Mar 2014), doi: 10.3389/fninf.2014.00024.

Dibujo20160708 fmri clustering fnsys-04-00034-g001

El problema encontrado por Eklund y sus colegas es el algoritmo de agregación (clustering). Lo normal es que un radiólogo experto estudie todas las imágenes fMRI sin agregar, observe características reseñables y luego aplique un algoritmo de agregación que destaque dichas características. Estos algoritmos tienen una serie de parámetros que hay que ajustar y que el radiólogo ajusta para destacar lo que quiere reseñar.

En muchos artículos científicos sólo se publican las imágenes ya agregadas, omitiendo las imágenes originales. Por supuesto, esto implica la existencia de sesgos. El resultado depende del algoritmo de agregación usado y de los valores de los parámetros (que no siempre se aclaran). Lo que implica que el estudio no es repetible. Además, si se comparan los resultados agregados de varios software con uno de referencia (como BROCCOLI, que es muy costoso, pero «muy bueno» según Eklund) resultará un alto número de falsos positivos. Así lo predice el sentido común y así lo demuestran los artículos de Eklund.

Todo radiólogo que lea esto ya lo sabe. Yo he colaborado en investigación con varios en las últimas décadas. La interpretación de las fMRI no es fácil y requiere cierto número de años de experiencia. En la actualidad no se concibe ningún software que realice de forma automática el análisis que realiza un humano. Cada radiólogo «controla» un software concreto y sabe cómo aprovecharlo al máximo. Las fMRI son muy caras y los estudios se limitan a usar pocos sujetos. Por ello, la estadística es deficiente y todo el mundo espera un alto número de falsos positivos. Pero esto todo el mundo lo sabe y desde mucho antes de los estudios con salmones muertos o con el BROCCOLI de Eklund.

Eklund y sus colegas reclaman que las imágenes originales deberían ser publicadas en bases de datos públicas para su análisis posterior e independiente con varios software. Y para, permíteme ser abogado del diablo, que él pueda usarlas para «demostrar» que su software BROCCOLI es mucho mejor que los demás que son más antiguos. Él se queja siempre de que hay pocas imágenes en versión original y agregada en las bases de datos públicas que él mismo pueda usar en sus investigaciones (recuerda que no es un radiólogo experto y que no puede recibir financiación para producirlas por sí mismo).

Dibujo20160708 frmi clustering

No te equivoques. No quiero que pienses que estoy defendiendo a mis «amigos» los radiólogos. Ni que estoy atacando a Eklund y sus colegas de haber sesgado su investigación con «intereses» ocultos. No te equivoques. Sólo quiero dejarte claro que la alarma que están generando los medios y la web sobre la fMRI es infundada. Los problemas asociados a las publicaciones científicas que usan fMRI son similares a los de muchas otras áreas de la ciencia (sobre todo en neurociencias y ciencias biomédicas).

El trabajo de los investigadores está repleto de sesgos. Las diferentes áreas de la ciencia son como clubs exclusivos en los que para pertenecer hay que superar unas pruebas de ingreso. Hay que demostrar el dominio de un lenguaje específico y de unas metodologías científicas concretas. Los pares nos permiten entrar en el club y publicar nuestros artículos sin demostrar nuestras habilidades. Pero hay elementos básicos, que se supone son conocidos por todos los pares, que no se pueden incluir en los artículos científicos de forma detallada (sólo los estudiantes los incluyen por su ignorancia de las reglas de cada club). Así se generan muchos sesgos (se da por supuesto que las cosas que se omiten es porque se han hecho bien, como todo el mundo las hace).

Dibujo20160708 frmi voxels distances clustering

Llegado a este punto seguro que me dirás que todo esto ya lo sabías y que vaya al grano. ¿Qué es eso de la agregación (clustering)? Las imágenes fMRI miden la actividad del encéfalo en tres dimensiones, casi en tiempo real y de forma no invasiva. Mediante pulsos electromagnéticos se mide el consumo de oxígeno en un área del encéfalo. Se asume que un mayor consumo de oxígeno implica una mayor actividad de las neuronas.

Las imágenes fMRI tienen una resolución pobre, pero se obtienen por cortes transversales que permiten obtener una imagen en tres dimensiones. El píxel de las imágenes corresponde a pocos milímetros cuadrados, luego el vóxel corresponde a pocos milímetros cúbicos. Cada vóxel corresponde a la actividad de millones de neuronas. El resultado es una imagen con mucho ruido, con píxeles cercanos con una actividad muy diferente. Para interpretar las imágenes se usa una técnica de agregación (algo parecido a una votación electoral). Se agrupan regiones de vóxeles que tienen una actividad similar y se «suaviza» el ruido.

La agregación de vóxeles en las imágenes fMRI tiene los mismos problemas que la agregación de votos en provincias para obtener escaños siguiendo la fórmula de D’Hondt. Como las elecciones del 26-J están aún recientes, creo que esta analogía te podrá servir de ayuda. Pequeñas variaciones en la actividad de vóxeles cercanos (pequeñas variaciones en el número de votos de una provincia) conducen a agregaciones diferentes en las imágenes fMRI (o sorpresas electorales como en el 26-J). Cambiar el algoritmo de agregación (como cambiar cómo se aplica la fórmula de D’Hondt o usar otra) no hace que el resultado siempre sea mejor (como tampoco se logra unas elecciones más justas).

Los resultados de diferentes algoritmos de agregación son diferentes entre sí y como no sabemos cuál es el resultado correcto no podemos saber cuáles son los mejores. Si confías en «tu software» como hacen Eklund y sus colegas, porque es «muy bueno», lo dicen ellos, puedes comparar diferentes algoritmos entre sí y saber cuáles conducen a resultados mejores. Más aún, se pueden detectar «errores», como uno en 3dClustSim (algoritmo del software AFNI) que ya ha sido resuelto (en realidad no era un «error como tal» sino que se usaba parte de la imagen en lugar de la imagen completa lo que provoca un error similar a no tener en cuenta ciertos pueblos de una provincia en unas elecciones).

En resumen, no deduzcas que la fMRI debe ser abandonada y que todos los artículos publicados con esta técnica son erróneos. Todo depende de los autores (el sesgo de autoridad en acción). Si son radiólogos expertos y reputados, seguramente han ajustado la agregación para destacar lo que ya han visto en las imágenes antes de la agregación, luego sus resultados son bastante fiables. Por supuesto, si además están confirmados por otras técnicas o replicados de forma independiente, mucho mejor. Todos debemos tener un alto grado de escepticismo, tanto con la fMRI como con cualquier otra cosa. Pero no debemos dudar de todo porque sí, sin más, o porque haya un hype en los medios. La fMRI es una técnica muy útil y lo seguirá siendo por mucho tiempo.



10 Comentarios

  1. Buenas Francis,

    Una pregunta que me lleva rondando mucho tiempo en la cabeza — ¿Cuando crees que se podrá utilizar la resonancia magnética funcional u otros métodos de imagen como el PET o el SPECT para diagnosticar los trastornos mentales de forma biológica, no aquellos que tienen una etiología claramente neurológica, sino aquellos de los que se encarga la psiquiatría? ¿Crees que algún día la especialidad psiquiátrica puediera ser absorbida por la neurología? ¿O crees que todo esto no será posible?

    1. Ni idea, El Cid, lo que parece indicar la ley de Moore en el campo es que se incrementará la resolución de estas técnicas hasta alcanzar neuronas individuales (los más optimistas hablan de 2030, los más pesimistas de 2050). Gracias a ello se podrá copiar el estado actual de las sinapsis en un encéfalo en un ordenador. ¿Servirá para algo en la clínica psiquiátrica? Quien sabe, puede que sí, o puede que acabe ocurriendo como con el genoma humano, para algunas patologías servirá, pero para muchas otras no aportará nada. Lo dicho, ni idea.

      1. Gracias por la respuesta. Pues yo sin tener tampoco ni idea, voy a especular diciendo que cuando la resolución pueda alcanzar a las neuronas individuales y a sus sinapsis … pongamos en el 2040 jeje … como la computación también será mucho más avanzada (incluso cuántica de propósito general), seremos capaces de construir modelos científicos del funcionamiento del encéfalo que nos aclaren este importante problema … esa será la fecha de absorción de la especialidad … mientras nos contentaremos con acercarnos al problema de la mente desde un punto de vista filosófico …

        1. La reso funcional y el PET ya sirven para diagnosticar algunos trastornos psiquiatricos y se usan con frecuencia.
          Por otro lado, en el caso del PET, la resolución no se va incrementar mucho durante las próximas generaciones (a menos que aparezca alguna revolución), lo que si que va a crecer es la relación señal-ruido.
          Pero lo que manda en el PET son los fármacos… Y se han hecho algunos avances muy importantes, por ejemplo (aunque no sea el tipo de patología a que te refieres) los avances que se han hecho en el caso del Alzheimer son increibles, ahora con los nuevos amilodes es posible de detectarlo mucho antes de que muestre ningún síntoma clínico! Te puedes imaginar todo el debate moral que ahora mismo ha abierto el tema….
          Aunque por desgracia en España la aprobación de nuevos fármacos PET siempre va con una década de retraso con respecto al resto del mundo…

          1. Gracias. No sabía que los diagnósticos estuviesen ya tan avanzados. Desde luego que el entendimiento funcional del encéfalo así como de sus extrañas y singulares patologías es un problema que transciende completamente el ámbito médico y que tendrá enormes repercusiones sociales y filosóficas. Impactará de lleno en la filosofía al desmontar muchos sistemas, tema que a mi me interesa grandemente.

            Saludos.

      2. Hola, gracias por desgranar y explicar el artículo original de PNAS y el anterior.
        Pero, siguiendo la misma lógica, también habría que dar la misma credibilidad y posibilidad de sesgo a otros hallazgos en neurociencia que sin embargo no se ponen en dudas. Véase que la actualización de la estimación del número de neuronas que contiene un encéfalo ahora se refiere a los estudios de la Dra. Herculano-Houzel, pero igualmente eso está en función del método que ella utiliza y que dice «es el mejor». Suena a lo mismo que este trabajo de fMRI, ¿no te parece?. Vaya por delante que el trabajo de la Dra. Herculano-Houzel es impresionante, pero merece ser mirado de la misma forma que otros,.. con la misma credibilidad y escepticismo. Ya que como bien explicas, lo que puede suceder es que ha entrado fácil… en el club correspondiente.
        Por otro lado, en relación a la resolución de la fMRI a nivel neuronal, tuve la oportunidad de visitar uno de los centros de resonancia más grandes del mundo, si no es el más grande actualmente. Se trata de éste:http://www.cmrr.umn.edu
        y estar en una charla en la que intervenían el director y varios científicos de
        en el que de forma habitual hacen estudios en humanos en resonancia de 7 T, y ya están avanzando hacia 10 T para humanos y 16 T para animales. Una barbaridad, pero también algo alucinante. En la charla afirmaba el director que están persiguiendo la resolución a nivel neuronal.
        La cuestión que se abre sobre la actividad neuronal que se registra en el encéfalo en resonancias por encima de 7 T es si es la actividad normal o ¿podría estar alterada por la altísima intensidad del campo magnético?. Fue una pregunta que le hice a este investigador y que contestó más o menos con la seguridad de que ellos constataban que no era así… desconociendo trabajos que demuestran lo contrario. Ya hay estudios que demuestran que un campo magnético por encima de determinada intensidad altera la excitabilidad neuronal de la corteza cerebral. Por tanto, hay que plantearse hasta dónde si será útil el dato que se extraiga de estudios en campos magnéticos de alta intensidad y hasta dónde hay que asumir una alteración funcional que introducirá ruido en el resultado buscado.

  2. No creo desaparezcan especialidades porque la explicación de sus patologías sean de otras pues los métodos de tratamiento siguen siendo muy extensos y complejos como para esa «absorción». Pongo un ejemplo: hoy en día sabemos que casi todas las alteraciones de salud son por desbalances en neurotransmisores y sin embargo no es la Neurología lo único que existe: la disfunción eréctil al analizar hacia atrás, lo es a nivel de arterias helicinas y otros elementos; las placas ateromatosas por eso mismo a nivel de endotelio, las malformaciones igual, los cálculos renales su disfunción genésica tiene una base neuroquímica, etc. Por otra parte, si vamos más atrás, todas esas disfunciones tienen una base embriológica, por errores en morfógenos y éstos a su vez por influencia del medio o por codificación genética defectuosa. Saludos, J

  3. Si en la sección de métodos de un artículo se describiera completamente cada uno de los parámetros usados (aunque sea sólo los que eres consciente de usar), creo que no cabría en las 2000 palabras límite de las revistas XD.
    Ya en serio, creo que sí que es cierto que las revistas deberían pensar en permitir anexos para los detalles de cualquier posproceso, sobre todo fMRI por la cantidad de detalles que cambian el resultado.

Deja un comentario