En muchos experimentos neurocientíficos se obtienen una cantidad enorme de datos pero sólo se analizan en detalle una cierta fracción, normalmente pequeña, en la que se basan los resultados que acaban siendo publicados. La selección de estos datos puede producir un análisis circular (en el que las hipótesis distorsionan los resultados). En dicho caso, el análisis estadístico «riguroso» realizado está sesgado e invalida los resultados obtenidos. En particular, el uso de las mismos datos para inferir los resultados y para validar el modelo (el proceso llamado «double dipping«) invalida completamente los resultados estadísticos obtenidos (que asumen la independencia entre ambos conjuntos de datos). Este problema nos lo demuestran en el contexto de las neurociencias, Nikolaus Kriegeskorte, W Kyle Simmons, Patrick S F Bellgowan, Chris I Baker, «Circular analysis in systems neuroscience: the dangers of double dipping,» Nature Neuroscience 12: 535-540, May 2009 . Los autores nos ofrecen varios ejemplos de las «trampas» que nos pone la estadística y algunas ideas (políticas) sobre cómo evitar este problema (mucho más común de lo que parece en las ciencias en el borde entre «lo natural y lo social,» como es el caso de las neurociencias).

La figura ilustra claramente el problema. La fila de arriba (a)  nos recuerda que el resultado refleja los datos solo indirectamente, gracias a un prisma (el análisis) que requiere ciertas hipótesis. La fila del medio (a) ilustra cómo las hipótesis pueden interactuar con los datos para dar forma al resultado. Idealmente (en medio izquierda), los resultados reflejan ciertos aspectos de los datos (azul) sin ninguna distorsión (aunque las hipótesis determinan qué aspecto de los datos se refleja en el resultado). A veces (en medio centro), una inspección detallada del análisis realizado muestra que hay datos que se han perdido en el proceso y que las hipótesis (rojo) predeterminan los resultados. En dicho caso el análisis es completamente circular (la línea roja punteada). Más a menudo en la práctica (en medio derecha) tanto las hipótesis como los datos predeterminan el resultado (morado), no sólo las hipótesis, los datos también influyen en cierto grado. ¿Cuáles son las causas de esta circularidad argumental o deductiva? La fila de abajo (b) muestra las 3 causas más comunes: el criterio utilizado para seleccionar los datos (izquierda), la técnica de promediado y clasificación de los datos utilizada (centro) y los criterios utilizados para ordenar los datos  (derecha). Estas 3 causas reflejan las hipótesis utilizadas (rojo), distorsionando las estimaciones e invalidando el análisis estadístico realizado.