El físico de origen español Luis W. Alvarez le sugirió en 1967 al físico Gerald (Gerry) R. Lynch que modificara su simulador de Montecarlo llamado GAME para generar histogramas que incluyeran falsos «picos» (bumps) de nuevas partículas (resonancias). Los resultados del nuevo programa fueron mostrados a físicos de partículas para que indicaran «a ojo de buen cubero» si había o no había «nuevas partículas» en dichos histogramas. Muchos físicos vieron nuevas partículas donde sólo había fluctuaciones estadísticas. Nos lo cuenta Luis W. Alvarez, «Recent developments in particle physics,» pp. 1-49 en «Evolution of Particle Physics,» Academic Press, 1970. Por cierto, esta entrada viene a colación por Tommaso Dorigo, «Demystifying The Five-Sigma Criterion,» AQDS, August 11th, 2013.
En aquella época se producían entre 10.000 y 20.000 histogramas al año, que eran explorados por unos 1000 físicos a la caza de nuevas partículas. Desde 1957, los nuevos descubrimientos eran publicados en el listado del Particle Data Group (PDG). La mayoría eran hadrones (entonces no se sabía que eran partículas compuestas de quarks, aunque se sospechaba), llamados resonancias. Muchos «descubrimientos» fueron refutados por otros experimentos, por lo que se decidió marcar todas las nuevas resonancias como «no confirmadas.» Había que decidir un criterio estadístico riguroso. Arthur H. Rosenfeld, uno de los padres de la iniciativa del PDG, en una conferencia sobre mesones celebrada en 1967 en Filadelfia, usó el resultado de Gerry Lynch para proponer un mínimo de tres desviaciones típicas (popularmente llamadas sigmas) para que una «nueva» partícula fuera incorporada al PDG. Nos lo cuenta en «The Particle Data Group: Growth and Operations-Eighteen Years of Particle Physics,» Annual Review of Nuclear Science 25: 555-598, 1975. Su artículo original de 1968 se titula «Are There Any Far-out Mesons or Baryons?,» como nos recuerda Tommaso Dorigo, «Demystifying The Five-Sigma Criterion – Part II,» AQDS, August 14th, 2013.
Tres sigmas no son suficientes, como han mostrado muchos casos. Uno de los más famosos en los que falló la regla de las tres sigmas fue el famoso descubrimiento del quark top en 1984 en el experimento UA1, liderado por Carlo Rubbia, en el colisionador SPS en el CERN. La teoría predecía 3,5 sucesos de dicho tipo y se observaron 12 sucesos (una fluctuación de tres sigmas). Pero al acumular más datos en UA1, la fluctuación cambió de signo y el descubrimiento fue desmentido pocos meses más tarde (de hecho, UA2 tampoco observó dicha fluctuación a favor). El quark top no tenía una masa de 40 ± 10 GeV/c², y gracias a UA1 y UA2 en 1990 ya se sabía que su masa era superior a 69 GeV, más allá de su capacidad de observación.
El número de cinco sigmas se estableció para el descubrimiento del quark top en 1995. En 1994 aparecieron las primeras evidencias del quark top a tres sigmas en CDF, pero el recuerdo de la historia de 1984 y que DZERO no lo hubiera observado, hizo que se recomendaran cinco sigmas para proclamar un descubrimiento. En 1995, tanto CDF como DZERO, los dos experimentos del Tevatrón, en el Fermilab, cerca de Chicago, EEUU, observaron el quark top con cinco sigmas. Hoy sabemos que tiene una masa de 173,3 ± 0,8 GeV/c² (de hecho, el LHC es una fábrica de quarks top).
Hoy en día, un descubrimiento en física de partículas requiere que dos experimentos diferentes observen el resultado con al menos cinco sigmas, que en el caso del bosón de Higgs fueron CMS y ATLAS del LHC en el CERN. Descubrimientos realizados por un único experimento, como el caso de las seis sigmas que alcanzaron los neutrinos superlumínicos del experimento OPERA en septiembre de 2011 son considerados por la mayoría de los físicos como falsas alarmas. Sólo cuando son ratificados de forma independiente por otro experimento se puede hablar en sentido estricto de un descubrimiento. Hoy sabemos que el error de OPERA era sistemático, no estadístico, debido a un fallo.
El incremento de la estadística (número de sucesos mostrados en los histogramas) produce fluctuaciones espurias a tres sigmas de forma continua y algunas pocas pueden alcanzar sin problemas las cinco sigmas; de hecho, con la ingente estadística de sucesos del LHC en la próxima década en algunas búsquedas de sucesos muy raros (como la presencia de partículas supersimétricas de gran masa) habrá falsos anuncios si no sube a entre siete y diez sigmas como cota indicativa de un descubrimiento. En la interpretación del número de sigmas de un resultado de física de partículas la clave es el consenso entre la comunidad.
Por cierto, lo he aclarado en varias ocasiones en este blog, pero quizás convenga recordar qué son las sigmas o desviaciones típicas en la significación estadística de un resultado, concepto que se utiliza en el campo del contraste de hipótesis. En este campo se estudia la probabilidad de que los datos observados en un experimento correspondan a algo nuevo (la hipótesis a contrastar) o sean resultado de una fluctuación estadística de lo ya conocido (la llamada hipótesis nula). La teoría predice para la hipótesis nula un valor medio (μ) y una desviación típica (σ). La diferencia entre valor medio observado y μ se puede cuantificar con un número de desviaciones típicas σ, es decir, con un número de sigmas. Estas son las famosas sigmas.
Por supuesto este análisis estadístico supone que las fuentes de error en la fluctuación son muchas e independientes, lo que permite aproximarla por una distribución gaussiana. En física de partículas hay errores estadísticos, que cumplen con esta condición, y errores sistemáticos, que no tienen por qué cumplirla, por ello el contraste de hipótesis utilizado es un poco más sofisticado, pero en esencia esta es la idea. Por tanto, el número de sigmas de una observación corresponde a probabilidad de que su origen sea la hipótesis nula; una sigma (desviación estándar) corresponde a una probabilidad del 16%, tres sigmas al 0,17%, y las «mágicas» cinco sigmas a una probabilidad del 0,000029%.
PS (17 ago 2013): Como Eclectikus en los comentarios, recomiendo leer a Lubos Motl, «In defense of five standard deviations,» TRF, Aug 14, 2013.
PS (19 ago 2013): Como he enlazado las dos primeras entradas de Tommaso Dorigo, también quiero enlazar las dos siguientes «Demystifying The Five-Sigma Criterion – Part III,» AQDS, Aug 17th 2013, y «Demystifying The Five-Sigma Criterion – Part IV And Summary,» AQDS, Aug 19th 2013. Esta última incluye la figura que abre esta entrada en su última versión obtenida por CDF, que ya no muestra el «falso» pico en azul tras analizar 8,9 /fb de colisiones en el Tevatrón (en lugar de 4,9 /fb) y mejorar la estimación de los sucesos de fondo (reducir los errores sistemáticos en la estimación teórica). Me permito copiarla aquí, sin más detalles, como coda final.
“Hoy sabemos que el error de OPERA era sistemático, no estadístico, debido a un fallo”.
Vale, pero esto no es todo. Si bien el experimento de marras no tenía por objetivo medir la velocidad de los neutrinos, una vez detectada la hipervelocidad de la partícula la comunidad científica protestó porque se infringía uno de los preceptos de la RE. Esto quiere decir que nadie gastará un euro en hacer experimentos que parten de un error y que ningún físico en su sano juicio arriesgará sueldo y prestigio para embarcarse en aventuras insólitas. Luego la ciencia y la física no sólo dependen de circunstancias experimentales sino de la presión ideológica (estatus) de sus miembros más relevantes.
Hay varios ejemplos de errores sistemáticos, no sistemáticos o simplemente azarosos que lejos de desanimar a los científicos los impulsaron a seguir investigando en la misma línea.
Artemio la comunidad científica no protestó sino que mostró un escepticismo más que justificado. Imagina que alguien llega y te dice que ha diseñado un experimento complejo con miles de complejos aparatos electrónicos y conexiones de todo tipo que requiere una precisión en el límite de la sensibilidad de los aparatos y que en él se demuestra claramente que la fuerza de repulsión electromagnética entre 2 e- no decae con el cuadrado de la distancia sino que lo hace linealmente. ¿Tu que pensarías? ¿Qué crees que es más probable, que la medida del experimento sea correcta o que haya un error de cualquier tipo en la medida?
Por supuesto que la ciencia, como cualquier actividad humana está sometida a interpretaciones, subjetividades, modas e intereses económicos pero la ciencia funciona. Y funciona porque toda hipótesis es sometida al escrutinio experimental y este no miente. Las matemáticas son con toda seguridad la única actividad humana que no está sometida a modas, intereses o subjetividades de ningún tipo. Las matemáticas son absolutas y las leyes fundamentales del Universo están “escritas” en el lenguaje de las matemáticas. La invarianza Lorentz parece ser una de esas leyes fundamentales por eso los físicos no creyeron desde un principio en el “circo superlumínico” pero fíjate si es verdad que la ciencia no da nada por sentado que incluso la simetría Lorentz, que representa una de las simetrías más fundamentales del Universo y cuya veracidad se ha demostrado experimentalmente en infinidad de experimentos aún sigue siendo estudiada con lupa para encontrar alguna posible violación de la simetría. Visto en retrospectiva lo del “circo superlumínico” fue incluso ridículo, no desde el punto de vista de los científicos que tuvieron el coraje de pedir ayuda a la comunidad ante un resultado sin sentido sino desde el punto de vista de los miles de “tarados conspiranoicos” que llegaron a decir que los organismos oficiales habían inventado el problema de conexión para tapar el hecho de los neutrinos superlumínicos.
Hoy sabemos que el cerebro humano es muy dado a creer en supersticiones, divinidades, conspiraciones y es muy malo a veces interpretando los hechos, por eso necesitamos la ciencia y las matemáticas… y como puedes ver a tu alrededor la ciencia funciona.
Vamos a ver, los matemáticos son personas y por supuesto están influidas como todas las demás por todo tipo de condiciones subjetivas y condicionadas por el entorno. Incluso ciertas características de las matemáticas son claramente convenciones humanas, sin embargo, las estructuras que manejan y a las que se refieren NO LO SON. Éstas son totalmente ajenas a cualquier tipo de convención, moda o deseo humano. Por supuesto, esta característica excepcional es la clave del éxito que estamos teniendo en nuestro objetivo por describir las leyes fundamentales del Universo que habitamos.
Si yo te digo que un Lagrangiano posee una simetría global U(1), esto es algo totalmente objetivo, incluso aunque las definiciones de los conceptos “Lagrangiano” y “Simetría U(1)” sean evidentemente conceptos “inventados” por los matemáticos las estructuras a las que se refieren o sea “La configuración de energía del sistema físico” y la “invarianza de fase” son estructuras totalmente ajenas a los seres humanos y lo son por que reflejan propiedades fundamentales del Universo que habitamos. Una civilización extraterrestre podrá tener un sistema de reglas matemáticas lógicas y axiomas diferentes al nuestro pero su concepto equivalente a lo que nosotros llamamos Lagrangiano se utilizará en el formalismo de forma exactamente igual que nuestro concepto porque se refieren a la misma “estructura” o sea a la misma característica fundamental de la naturaleza: la configuración energética de un sistema físico.
Respecto a lo del mundo salvaje y corrupto deberías darte cuenta de que nuestra época actual es con muchísima diferencia la más civilizada de la historia de la humanidad (en parte gracias a la ciencia), mucha gente debería darse cuenta de ello, tratar de entender porque esto es así e incluso contribuir al bienestar si es posible en vez de estar criticando todo continuamente y añorar tiempos pasados en los que la miseria, las guerras y las enfermedades situaban la esperanza de vida en menos de 40 años.
planck, por fortuna no poseo ningún estatus físico y matemático que defender, mi sueldo no depende de los florilegios mentales que mi cascado cerebro pueda parir ;-D
Lo de los neutrinos FTL ha sido declarado asunto non grato por el mainstream y se ha saldado con varias dimisiones. Lo dejo ahí.
Respecto de las modas matemáticas es un asunto que no conozco bien, sólo comentar que hubo un matemático ruso, cuyo nombre no recuerdo y que fue represaliado por Estalin, que ignoró el influjo de Landau en las matemáticas de la época y que siguió su línea de investigación ajeno a las modas, corrientes y capillas. Supongo que casos como éste son aislados, pero las modas ciertamente tienen su influencia. Otro lobo solitario, Roger Penrose, que ahora es una figura de relieve y tiene sus seguidores, en su día estaba más solo que la una. Pero ya digo, es un asunto que no conozco bien.
Hola. Un breve comentario para recomendar una entrada de Lubos Motl, respuesta al artículo de Dorigo que enlaza Francis en la entrada, que creo hace un buen repaso a los conceptos esenciales (teoría de errores, distribuciones de probabilidad…) y que me parece un buen contrapunto a esta entrada:
http://motls.blogspot.com/2013/08/in-defense-of-five-standard-deviations.html
Hola
¿De dónde sale el 0,000027%?
Si con R calculo 100*(1-pnorm(5)) me da 0.000028665%
Y si los calculo con dos colas 0.00005733%
¿O no usan la distribución normal?
Juan, gracias por estar atento y darte cuenta; se trata de una errata, el número correcto es 0,000029 %. Lo cambio.