La respuesta oficiosa de LIGO a las críticas a su análisis de GW150914

Por Francisco R. Villatoro, el 20 junio, 2017. Categoría(s): Ciencia • Física • Noticias • Personajes • Physics • Recomendación • Science ✎ 33

Dibujo20170620 Livingston record due to exclusion of the 35 Hz line arxiv 1706 04191

La trampa del análisis de Fourier enventanado. Una señal de espectro finito es infinita en tiempo. El análisis de Fourier de una serie temporal usando una ventana en tiempo requiere un filtro de bordes suaves para la ventana; en caso contrario aparecerán correlaciones espurias asociadas al tamaño de la ventana y su relación con la frecuencia de muestreo. El reciente artículo que afirma que las señales de LIGO son solo ruido comete este error, según Ian Harry, miembro de la Colaboración LIGO. Su respuesta es oficiosa, pero razonable. Pronto habrá una respuesta oficial.

Permíteme que resuma la respuesta oficiosa de Ian Harry, «A Response to “On the time lags of the LIGO signals” (Guest Post),» Sean Carroll Blog, 18 Jun 2017, al polémico artículo contra LIGO de James Creswell, Sebastian von Hausegger, …, Pavel Naselsky, «On the time lags of the LIGO signals,» arXiv:1706.04191 [astro-ph.IM]. En este blog también puedes leer mis comentarios en «Virgo se une a LIGO en la búsqueda de ondas gravitacionales,» LCMF, 17 Jun 2017 (no titulé mencionando las críticas porque no era mi objetivo en dicha entrada darles bombo).

[PS 29 Jun 2017] La respuesta de los autores a Harry en James Creswell, Sebastian von Hausegger, …, Pavel Naselsky, «Comments on our paper, ‘On the time lags of the LIGO signals’,» Web Gravitational Waves. Tratan de aclarar lo que según Harry no han dejado claro. Por cierto, desde la colaboración LIGO se afirma que este tipo de análisis es rutinario en dicha colaboración y que lo realizado por Creswell et al. no es nada nuevo para ellos que van mucho más allá. Hay sutilezas en el análisis de Creswell et al. que ellos no han tenido en cuenta y son rutinarias dentro de LIGO. [/PS]

Dibujo20170620 fourier phase 32 seconds gw150914 vs gaussian noise ian harry ligo

Creswell et al. toman los 32 segundos de datos en los que se encuentra la señal GW150914 que dura 0,2 segundos (LIGO Open Science Data). Obtienen su espectro usando la Transformada Rápida de Fourier (FFT, siglas de Fast Fourier Transform), filtran las resonancias localizadas (bien caracterizadas en el detector) y aplican la transformada inversa. Aplican un análisis de correlación cruzada a la señal resultado del proceso anterior para los detectores de Hanford y Livingston. Observan que el ruido está correlacionado, con lo que sugieren que la señal GW150914 es espuria y debida al ruido.

Harry repite su análisis para los 32 segundos de la señal de Hanford y para una señal artificial generada con ruido gaussiano (32 segundos recortados de una señal periódica de 180 segundos). Como muestra la figura de arriba, la señal gaussiana (figura derecha) muestra una correlación aún más fuerte que la señal de LIGO (figura izquierda). ¿Por qué? Porque al recortar a 32 segundos la señal de 180 segundos se rompe su periodicidad y aparece una discontinuidad ficticia (lo que equivale a aplicar un filtro rectangular a la señal). La correlación es debida a esta discontinuidad (y debe ser evitada aplicando un filtro de extremos suaves).

Los códigos usados por Harry (escritos en IPython) están disponibles para quien quiera repetir su análisis. En su opinión, Creswell et al. caen en la trampa del análisis de Fourier enventanado (windowed Fourier analysis), la misma trampa en la que caen muchos estudiantes (yo nunca he impartido clases de análisis de Fourier, pero fui alumno hace casi 30 años y lo observé en mis compañeros).

Dibujo20170620 Hanford black Livingston red their residuals and cross-correlations arxiv 1706 04191

La segunda parte del artículo de Creswell et al. explora la correlación de las señales observadas por Hanford y Livingston alrededor de la señal GW150914. Incluso si se elimina dicha señal, se observa una correlación entre ambos observatorios. Harry afirma que no ha sido capaz de reproducir este resultado (y que está en contacto con Creswell et al. para aclarar este asunto). Aún así, si esto es cierto, entonces hay parte de la señal que no ha sido extraída y podría ser extraída. Harry considera que en ningún caso se puede interpretar esta correlación como que la señal observada es espuria.

Según Harry, la correlación cruzada entre las señales de Hanford y Livingston alrededor de la señal GW150914 puede tener como causa un análisis inapropiado. Creswell et al. asumen que el ruido de fondo de la señal de LIGO es gaussiana, estacionaria e independiente (observando que esta última condición no se cumple). Sin embargo, el ruido de fondo de LIGO ni es gaussiano, ni es estacionario (aunque se asume independiente entre Hanford y Livingston). Lo discute en detalle el artículo The LIGO Scientific Collaboration, the Virgo Collaboration, «GW150914: First results from the search for binary black hole coalescence with Advanced LIGO,» Phys. Rev. D 93: 122003 (2016), doi: 10.1103/PhysRevD.93.122003arXiv:1602.03839 [gr-qc].

La señal GW150914 es tan intensa que la no gaussianidad influye poco en su detección. Aún así, en LIGO se ha realizado un análisis de Montecarlo en busca de señales similares ocultas en el ruido de fondo, lo que ha permitido la estimación de su valor p (su significación estadística mayor de cinco sigmas). En estos análisis se ha desplazado la señal de ambos detectores unos 10 ms (lo que tarda la luz en el vacío en recorrer la distancia que los separa). No se han observado correlaciones como las que parecen encontrar Creswell et al. (si se hubieran encontrado la significación estadística de la señal GW150914 hubiera sido menor de cinco sigmas). Aún así, Harry no pone la mano en el fuego y prefiere esperar a comentar con los propios autores los detalles de su análisis (que no está claro en el artículo publicado en ArXiv). Habrá que esperar a la respuesta oficial de LIGO, que aparecerá pronto en ArXiv, para conocer más detalles al respecto.

Dibujo20170617 cross-correlation function GW151226 and GW170104 arxiv 1706 04191

Harry no comenta nada en su respuesta oficiosa sobre la correlación observada entre las GW151226 y GW170104 (sección 4 del artículo de Creswell et al.); este resultado es similar al de la sección 3 y en mi anterior entrada en LCMF sobre este asunto ya ofrecí mi opinión sobre su posible causa. Harry ha reproducido (usando ruido gaussiano) las correlaciones observadas en la sección 2 del artículo, pero no ha podido reproducir las observadas en la sección 3, ni parece haberlo intentado con las que aparecen en la sección 4. Aún así, parece claro que estas correlaciones no penalizan la confianza estadística a más de cinco sigmas sobre la realidad de la señal GW150914

En resumen, habrá que esperar a la respuesta oficial de LIGO, pero todo apunta a que no se debe tener ninguna duda sobre las tres señales gravitacionales observadas por LIGO. Lo importante es que la respuesta oficiosa de Harry deja claro que hay importantes defectos en el análisis de Fourier y en la búsqueda de correlaciones espurias presentado en el artículo de Creswell et al. Ante la duda, en ciencia, siempre se debe confiar más en el análisis consensuado por más de 1300 científicos que en el realizado por cinco científicos.



33 Comentarios

  1. «Ante la duda, en ciencia, siempre se debe confiar más en el análisis consensuado por más de 1300 científicos que en el realizado por cinco científicos»

    Creo que es la clave. Y me cuesta entender cómo toman el riesgo de cuestionar unos resultados de un experimento tan relevante sin asegurarse antes muy muy bien. Es decir, yo consultaria con muchas personas (matemáticos, físicos..) para que corroboren esos cálculos antes de arriesgarme a que me digan que he cometido un fallo, digamos.. «básico». O que parezca que es que no domino ese modo de cálculo.

    No se, a veces parece que lo que quieren algunos es que se hable de ellos y ya está.

      1. Aulig, cuando se compara Advanced LIGO+Virgo con BICEP2 es un factor a tener en cuenta. LIGO+Virgo son más de 1300 científicos trabajando en su área durante más de 20 años. BICEP2 son menos de 50 científicos trabajando en su área durante menos de 5 años. La ciencia es consenso y trabajo duro, muy duro, durante mucho tiempo y de mucha gente. Lo que 1300 cerebros de expertos no han visto tras dos décadas de trabajo, con seguridad, 5 cerebros de (in)expertos no verán tras un año de trabajo. Con perdón, pero así funciona la ciencia y lo ha hecho desde hace mucho tiempo.

        1. Gracias por la respuesta. Yo, en éste caso, el análisis técnico y matemático lo «compro». Incluso puedo compartir lo del afán de notoriedad que se ha comentado por aquí.
          Entiendo lo que comentas de la gente experta trabajando allí , pero también que la revisión de gente externa es importante.
          Bueno, en este caso parece que está claro.
          Saludos y gracias por los artículos, siempre interesantes.

          1. En cierto modo creo que la clave no es quién tiene razón, porque eso es algo que sin estar muy metido, con conocimientos apropiados mas los datos en la mano y tiempo para analizarlos, es imposible de saber. La cuestión es más bien de quién te fías más: del consenso científico (que también se puede equivocar) o de opiniones aisladas disidentes (que a veces aciertan pero casi siempre se equivocan). Eso no quiere decir que estas últimas deban ser ignoradas, sobre todo si son coherentes. Merecen una respuesta adecuada. Y la van a tener.

        2. No entiendo este comentario. Claramente esos 1300 cerebros no vieron algo tan simple como lo que han hecho Jackson et al. Esto lo admite Ian Harry en la respuesta de Ligo. Nunca vieron esa correlacion entre los detectores en el ruido pese a haber repetido cientos de veces que hicieron infinitas pruebas de todo tipo imaginable para tratar de falsificar el resultado de septiembre de 2015.
          Tampoco entiendo lo de los 20 años, solo ha pasado menos de dos años desde que tienen la primera señal que es el tiempo que cuenta en este caso.

        3. No es lo mismo 1300 cientificos que 1300 estudios independientes. Estos 1300 cientificos reportan en un solo paper, y bien sabemos que el análisis no fue hecho y revisado en detalle por cada uno de ellos sino por un par de grupos internos con esa tarea. No digo que no tengan razón en este caso, pero el que sean muchos no pesa tanto.

          1. Botswanafire, los procesos de revisión internos en una colaboración tan grande son muy duros y muy rigurosos. A 1300 encéfalos es muy difícil que les pase desapercibido un error que pueda detectar 2 o 3 encéfalos en la revisión por pares. Por ello a algunos nos da mucha confianza un trabajo en el marco de una colaboración (si supera los cientos de encéfalos).

  2. De todas maneras una detección puede ser espuria, pero ¿otras dos más y además coincidiendo con las predicciones de Einstein?. Dudo mucho que vaya a ser un equivalente de BICEP2.

    1. Lo que parece desprenderse de que lo que dicen estos señores es que de vez en cuando LIGO confundirá ruido con señal. LIGO está sesgado para encontrar patrones de ondas gravitacionales, fue «entrenado» para eso con señales ficticias, así que podría haber algún error experimental por detrás, date cuenta de que estamos hablando de un experimento muy delicado.

      No dudo de la detección de ondas gravitacionales por parte de LIGO pero en ciencia toda crítica es buena. A buen seguro habrá explicación a todos los puntos señalados en el paper (estamos hablando de análisis matemático) solo es cuestión de tiempo.

      Me estoy acordando ahora de aquel experimento que daba velocidades supralumínicas a los neutrinos… el tema aquí es que los resultados de LIGO son razonables y no tenemos razón para dudar fuertemente de ellos pero en ciencia ningún fenómeno debe darse por probado hasta que se hace de forma independiente y repetida.

      Me parece muy prematuro hablar de Nobel para LIGO, ya veremos.

      1. Charles, LIGO no «está sesgado para encontrar patrones de ondas gravitacionales» sino que se trata de una antena que, como cualquier antena, recibe ondas con frecuencia en un intervalo determinado. No es cierto que «fue “entrenado” para eso con señales ficticias» así que tampoco es cierto que «podría haber algún error experimental por detrás».

        «Ningún fenómeno debe darse por probado hasta que se hace de forma independiente y repetida». Por ello hay dos interferómetros en lugar de uno (ahora ya hay tres) y por ello están muy alejados y son independientes (todo lo que pueden ser compartiendo parte de la tecnología de diseño).

        «Me parece muy prematuro hablar de Nobel para LIGO, ya veremos.» Exacto, Charles, a principios de octubre lo comprobaremos.

        1. ¿Cuántos patrones de colisión se calcularon para buscarlos posteriormente en los datos de los detectores? La masa de los agujeros negros que han detectado la dan con un decimal, si tambien buscan colisiones de estrellas de neutrones, tienen decenas de miles o cientos de miles de señales que buscar en los datos. Entiendo que en las estadisticas que sacan tienen en cuenta la posibilidad de que el ruido cause señales falsas entre tantos posibles patrones.

          1. Ruido, se han aplicado varios análisis independientes usando técnicas estadísticas bayesianas; los más importantes son EOBNR (aproximación analítica efectiva de un solo cuerpo sin precesión), IMRPhenom (para incluir el efecto de la precesión), PEOBNR (modelo EOBNR con precesión) y el uso de simulaciones con relatividad numérica específicas. Todas conducen a resultados similares. Tu pregunta sobre cuántos patrones se han calculado no es fácil de contestar, pues el número usado es diferente para cada una de estas técnicas y además hay varios catálogos. Por ejemplo, para el análisis de GW150914 con EOBNR se usaron unas 2700 y con IMRPhenom unas 27000, pero estos números no dicen nada per se sobre la calidad del análisis. Lo importante es el rigor en el análisis estadístico, que determina el número de «patrones» necesarios para alcanzar la precisión requerida.

        2. Lo que parece referir acá es que el equipo del proyecto LIGO fue entrenado con «detecciones falsas»: les mandaban datos falsos para hacerlos creer que tenían una detección, para ver si podían distinguirlos de una verdadera (esto durante el período de prueba naturalmente).
          Eso lo mencionaron en el primer descubrimiento de las ondas gravitacionales, donde estaban tan claras que creyeron que se las habían «inyectado» entre los datos como información falsa. Obviamente no tiene nada que ver con lo que entendió Charles de que el instrumento en sí está sesgado para encontrar ondas gravitacionales por todos lados y por eso las confunde (es justamente lo contrario: no es que el instrumento busca tanto las ondas que encuentra falsos positivos a cada paso; sino que el proyecto fue entrenado incluso con falsos positivos para que pudieran eliminar todos los resultados sospechosos de ser falsos a la hora de hacer ciencia).
          El Nobel creo que vendrá este año sólo si siguen sumando nuevos descubrimientos (cosa muy pero muy probable, al ritmo en que encuentran las ondas, el equipo de Ligo sabe que tiene que presentarlas rápido para «cobrar el premio»)

        3. De lo que se habla aqui no es de la antena sino de la interpretacion de los datos, y es evidente que esta interpretacion por parte de LIGO esta sesgada hacia los patrones de onda gravitacional, la prueba de ello es la utilizacion de plantillas de simulaciones relativistas en el análisis.
          En cualquier caso lo que si es patente aqui es que tu parcialidad absoluta (incluso otorgando con seguridad premios Nobel) no es muy compatible con una actitud científica. Aunque pienses de esa manera, aunque fuera por mantener las formas de un sitio con intención de divulgación científica quizás no deberías echar por tierra de manera tan evidente los principios de imparcialidad, crítica continua, etc.
          Por ejemplo cuando dices que el que haya 1300 cientìficos firmantes da más valor que el que haya 5. Deberiás saber que la ciencia no funciona así. Como decía Einstein en respuesta a un escrito en su contra firmado por cien físicos:»Si tuvieran razón bastaría con que lo firmara uno»

          1. Djmax, podemos discutir sobre lo que es ciencia o lo que no es, no aceptaré más trolleos. En grandes colaboraciones científicas (como LIGO o LHC) todos los artículos científicos son revisados de forma interna por la colaboración por cientos de personas, y dicho proceso tiene mucho valor (mucho más que la revisión de la revista más rigurosa, que solo de forma excepcional tiene cinco revisores).

        4. Te respondo aquí ya que no me deja responderte el otro.

          No he estudiado los modelos utilizados y tampoco la estadística especifica que utiliza el modelo, pero tengo la intuición de que si debería contar el numero de patrones calculados a la hora de saber si lo que se tiene es una señal real o no, mientras más patrones tengas para comparar, existen más posibilidades de que se genere un patrón aleatorio de ruido con la misma forma. Esto tiene sentido solo si la señal es débil respecto al ruido, creo que en este caso la señal no es mucho mayor que el «ruido», ruido que si no me equivoco se corrige con múltiples técnicas para reducir la lectura, es decir que el ruido «crudo» es mucho mayor que la señal detectada.

          Un símil a esta cuestión podría ser los bultos que le salen la las curvas en el LHC, que a nivel local parecen tener significancia, pero cuando se hace un análisis global deja de serlo.

          En cualquier caso, ahora con el nuevo instrumento en Italia, cualquier nueva detección eliminará cualquier duda al respecto.

  3. una cuestion que no entiendo, si nada puede escapar de la gravedad infinita de un agujero negro!!!!! que mecanismo permite que si puedan escapar estas ondas gravitatorias?????
    no deberian ser absorbidas por la gravedad infinita del agujero negro????

    1. Francisco, hay tres fases: (1) las ondas gravitacionales durante el movimiento en espiral (inspiral phase) que acerca ambos agujeros se generan en el sistema binario formado por ambos agujeros negros, no salen del interior de ninguno de ellos (también emite ondas gravitacionales cualquier sistema de dos o más cuerpos, aunque el proceso es eficiente solo cuando son muy compactos, se mueven muy rápido y están muy cerca); (2) en la fusión de los horizontes de sucesos se forma un objeto (llamado merger) que no es un agujero negro sino que tiene un horizonte con una topología no trivial (incluyendo un anillo negro o black ring) muy inestable que emite ondas gravitacionales al decaer en un agujero negro; y (3) el agujero negro final tiene un horizonte de sucesos en vibración (con los llamados modos cuasinormales) que se relajan en un horizonte no oscilante y dicho proceso emite ondas gravitacionales.

      Por tanto, en ningún momento salen ondas gravitacionales del interior del horizonte.

  4. Me encanta … por eso lo repite, vale? 😉 *

    «La trampa del análisis de Fourier enventanado. Una señal de espectro finito es infinita en tiempo. El análisis de Fourier de una serie temporal usando una ventana en tiempo requiere un filtro de bordes suaves para la ventana; en caso contrario aparecerán correlaciones espurias asociadas al tamaño de la ventana y su relación con la frecuencia de muestreo. El reciente artículo que afirma que las señales de LIGO son solo ruido comete este error, según Ian Harry, miembro de la Colaboración LIGO. Su respuesta es oficiosa, pero razonable. Pronto habrá una respuesta oficial».

    _______________
    * No se puede explicar más con menos … y, bueno, sólo habla de método.

  5. Recuerdo haber leído (aquí) que en algunas de sus fases LIGO estuvo sometida a algún tipo «inyecciónde señales» (adhoc) que permitieren evaluar la respuesta que, ante tales «eventos», obtenía el equipo de análisis … Estoy convencido de que el rigor en sus mediciones aporta una solidez mensurable (y acorde) con los resultados.

    1. Nano, existe un sistema de inyección hardware de señales en LIGO (controlado por un comité de tres personas); se usó en LIGO (pero no se ha usado en Advanced LIGO) para entrenar a la colaboración. En una ocasión (señal «Big Dog») se llegó hasta el último momento (haber escrito el artículo final completo y desvelarlo todo justo antes de enviar el artículo a una revista).

      A los interesados en los detalles de cómo funciona la colaboración y la sociología detrás de la inyección de «Big Dog» recomiendo el libro Harry Collins, «Gravity’s Ghost and Big Dog: Scientific Discovery and Social Analysis in the Twenty-first Century,» University of Chicago (2013); para lo que pasó entre septiembre de 2015 y febrero de 2016, recomiendo el libro de Harry Collins, «Gravity’s Kiss: The Detection of Gravitational Waves,» MIT Press (2017).

  6. Presumo que si tu, Francis que no te dedicas a las ondas gravitacionales eres capaz de darte cuenta del error de analisis que han cometido, el windowed Fourier analysis, necesariamente, estos tipos debian ser conscientes de su error ergo esto es un «quiero salir en la foto».

  7. “Ante la duda, en ciencia, siempre se debe confiar más en el análisis consensuado por más de 1300 científicos que en el realizado por cinco científicos”

    Aunque en realidad el análisis de Fourier no creo que lo hayan hecho mucho más de cinco
    personas (espero, porque lo contrario sería un caos). Dicho esto, no creo que lo hayan hecho mal los de LIGO, o eso espero.

      1. Hacen bien. De todas formas el análisis wavelet seguro que lo ha realizado un grupo reducido, como es lógico. En cualquier caso, sigo apostando a que lo han hecho bien.

      2. El problema al que aludes de enventanamiento solo se puede introducir cuando la señal con la que se trabaja es puramente gaussiana, aleatoria. Si hicieramos esa suposicion de gaussianidad en todas las señales no se podría trabajar nunca con el análisis de Fourier que es una de las herramientas clave en Física.
        Así que elproblema que tiene Ligo es justificar porqué hace esta suposición de gaussianidad(que ademas en sus propios papers admiten que el ruido no es gaussiano) cuando esta puede introducir sesgos e impedir limpiar de forma correcta de ruido una posible señal.
        Trabajar con wavelets está bien en procesamiento de señales conocidas como compresiones de imagen, audio, etc, pero para evaluar una posible detección no es lo mas apropiado como estrategia exclusiva.

  8. Vamos a ver, la discontinuidad que se introduce con la ventana de la FFT sólo produce la correlación espuria que muestra Harry cuando se hace de manera arbitraria sobre algo que se sabe de antemano que no tiene esta correlación, es decir que es puramente ruido gaussiano a priori. Pero esta es precisamente la premisa que no se puede usar al considerar la crítica al trabajo de Jackson et al. ya que precisamente ellos parten de la base de que sí puede haber correlación y por ello no usan de entrada el filtro que usa LIGO para el ruido.
    Por esta razón Harry no consigue luego reproducir la correlación del ruido entre detectores, porque sigue usando el mismo procedimiento con el mismo filtro que destruye la información de fase.
    Claramente aquí no estamos ante un problema técnico o estadístico, sino de interpretación de los datos. Yo creo que para probar un descubrimiento de esta magnitud la interpretación más adecuada es la que asume menos sesgo, es decir la que no asume de antemano que lo que se ha encontrado tiene que ser algo parecido a la forma de onda de una onda gravitacional, y por tanto no usa a priori el filtro que destruye la informción sobre la fase en función de la frecuencia.

  9. Suponiendo que estas gotas que se detectan en mitad de la lluvia torrencial fuesen efectivamente gotas y no ruido, en mi opinión la única forma de contrastarlo despejando cualquier duda metodológica sería poder detectar simultáneamente alguna otra señal, neutrinos o fotones proveniente de algún evento que también genere ondas gravitacionales.

    Cuando se pueda triangular la señal ¿no hay ningún evento que genere ondas gravitacionales detectables y triangulables y que también emita fotones y neutrinos tal vez la fusión de estrellas de neutrones, una supernova…?

    Si es así, tal vez sería mejor dejar el premio Nobel para más adelante, sobre todo porque poder triangular la señal a partir de ahora da mucho más juego en ese sentido.

  10. Por cierto, que se me pasaba, ¿qué aporta al debate sobre la naturaleza de los neutrinos el poder detectar ondas gravitacionales?

    Recuerdo que el retardo de los neutrinos respecto a los fotones en las supernovas permitía estimar la masa de los neutrinos.

    ¿Y si hubiera retardo entre los fotones y las ondas gravitacionales?

    ¿Y entre las ondas gravitacionales y los neutrinos?

    1. NoTengoNiIdea, no aporta nada. No hay relación entre las ondas gravitacionales producidas por la fusión de agujeros negros y los neutrinos. Cuando se observen fusiones de estrellas de neutrones, se espera la generación de neutrinos y fotones que acompañen a las ondas gravitacionales. Pero todavía no se ha observado ninguna.

  11. Se podrá confirmar la expansión acelerada del universo con las ondas gravitacionales???
    Son ondas, vienen de muy lejos, no deberían sufrir un corrimiento????

Deja un comentario