La inteligencia artificial es el campo más revolucionario en la actualidad. Si Alfred Nobel estuviera vivo, con seguridad concedería un Nobel a este campo. Y siguiendo su estela, la Academia Sueca galardona a dos de los padres (aún vivos) del aprendizaje automático mediante redes de neuronas artificiales, el estadounidense John J. Hopfield (91 años), Universidad de Princeton, Estados Unidos, y el británico Geoffrey E. Hinton (76 años), Universidad de Toronto (y Google), Canadá. Quizás algún ignorante te diga que el físico Hopfield no merece el galardón de Física, aunque haya recibido la Medalla Dirac (2001), la Medalla Boltzmann (2022) y otros galardones para físicos. De hecho, Hopfield hubiera sido mejor compañía para Parisi que Manabe y Hasselmann en el Nobel de Física de 2021. La Academia Sueca ha decidido que le acompañe Hinton, que no es físico, pero que es un todoterreno, que ha recibido premios como el Turing (2018) y el Princesa de Asturias (2022). Un premio al abuelo de la IA, padre de la biofísica de la red de Hopfield, que queda redondeado gracias al padrino de la IA, padre de la biofísica del aprendizaje gracias a la máquina de Boltzmann, su versión estocástica.

En 1982, Hopfield era un físico de 49 años que se había reconvertido en biofísico (biólogo teórico) interesado en los sistemas complejos, como el cerebro y los vidrios de espines. Propuso un modelo de red de neuronas artificiales con un paisaje energético que actuaba como memoria asociativa. En 1986, Hinton aplicó los principios de la física estadística a la red de Hopfield, con objeto de modelar el aprendizaje de patrones visuales, en el contexto del reconocimiento y la clasificación de imágenes. Ambos trabajos tuvieron tal impacto en la década de la quinta generación japonesa que yo estudié sus contribuciones durante mi carrera de informática (c. 1990), en el contexto de los modelos computacionales. Lo que la inteligencia artificial no logró en dicha década prodigiosa, con la llegada del invierno de la década de los 1990, se ha logrado en este siglo y, en especial, en esta última década. La inteligencia artificial basada en redes de neuronas artificiales, en gran parte inspiradas en el trabajo de Hopfield y bajo la batuta de Hinton, ya es una tecnología transparente (invisible) que está en todas partes. Además, en el último lustro se ha hecho visible en nuestra vida cotidiana gracias a las IA generativas. La revolución de ChatGPT y sus primas tenía que ser premiada con un Nobel y qué mejor año que 2024.

La física es una herramienta que ha revolucionado la inteligencia artificial gracias a los trabajos de Hopfield y Hinton, entre otros. Y ahora la inteligencia artificial está revolucionando la física, pues ya es sinónimo de análisis estadístico avanzado de datos (experimentales, observacionales y computacionales). El anuncio oficial del Nobel en YouTube, Nota de Prensa [pdf], Popular Information [PDF], y Scientifc Background [PDF]. Recomiendo leer a Miguel Ángel Criado, «Premio Nobel de Física 2024 a John Hopfield y Geoffrey Hinton por poner las bases de la inteligencia artificial», Materia, El País, 08 oct 2024; «Nobel de Física 2024 para dos pioneros en redes neuronales artificiales», Agencia SINC, 08 oct 2024. En inglés puedes disfrutar de Elizabeth Gibney, Davide Castelvecchi, «Physics Nobel scooped by machine-learning pioneers,» News, Nature, 08 oct 2024.

Los artículos premiados según la información Nobel son: [1]  J. J. Hopfield, «Neural networks and physical systems with emergent collective computational abilities,» PNAS 79: 2554-2558 (15 Apr 1982), doi: https://doi.org/10.1073/pnas.79.8.2554; [2] John J. Hopfield, David W. Tank, «Computing with Neural Circuits: A Model,» Science 233: 625-633 (1986), doi: https://doi.org/10.1126/science.3755256; [3] Scott E. Fahlman, Geoffrey E. Hinton, «Massively Parallel Architectures for Al: NETL, Thistle, and Boltzmann Machines,» In: Proceedings of the AAAI-83 conference, Washington D.C. (1983), PDF; [4] D.H. Ackley, G.E. Hinton, T.J. Sejnowski, «A learning algorithm for Boltzmann machines,» Cognitive Science 9: 147-169 (1985), doi: https://doi.org/10.1016/S0364-0213(85)80012-4; [5] David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams, «Learning representations by back-propagating errors,» Nature 323: 533-536 (1986), doi: https://doi.org/10.1038/323533a0; [6] Geoffrey E. Hinton, «Training Products of Experts by Minimizing Contrastive Divergence,» Neural Computation 14: 1771-1800 (2002), doi: https://doi.org/10.1162/089976602760128018.

Las redes de neuronas artificiales se inspiran en las redes de neuronas biológicas (Warren McCulloch y Walter Pitts, 1943). Están formadas por un conjunto de «neuronas» (nodos de cálculo descritos por cierta función de activación) conectadas por un conjunto de «sinapsis» (acoplamientos ponderados descritos por una matriz de números). Se llama aprendizaje (o entrenamiento) a la estimación de los «pesos sinápticos» para que «memoricen» un conjunto de datos de entrada (Donald Hebb, 1949). Las redes formadas por varias capas permitían reconocer patrones en imágenes, como dígitos manuscritos (Frank Rosenblatt, 1957). Pero estas redes directas (sin recurrencia) tenían un poder computacional limitado (no eran un sistema universal de cálculo); por ejemplo, eran incapaces de aprender la función o-exclusivo (XOR), la suma sin acarreo de números binarios (Marvin Minsky y Seymour Papert, 1969).

Los genios como John Hopfield están dotados de un sexto sentido, que les permite trabajar en un problema hasta dar con una solución aceptable, para luego abandonar dicho tema en manos de otros y ponerse a trabajar en otro problema sin ninguna relación con el anterior. Las contribuciones de Hopfield en los 1970 sobre la transferencia de electrones en macromoléculas y en el análisis de reacciones bioquímicas le convirtieron en famoso en el campo de la biofísíca (o física biológica). Pero en 1980, decidió abandonar su plaza de profesor en la Universidad de Princeton para ocupar una plaza en la otra costa, en el CalTech (Instituto Tecnológico de California), hasta 1997 (para más tarde retornar a Princeton). Le atraía del CalTech la posibilidad de usar ordenadores no disponibles en Princeton, le atraía la física computacional y los modelos computacionales.

En 1982, Hopfield publicó en PNAS [1] un nuevo modelo de red de neuronas recurrente (hoy llamado red de Hopfield). Su inspiración fue el modelo del campo molecular de Weiss (1907), el modelo de espines de Ising (1925), la memoria de contenido direccionable de Kramers y Wannier (1941), y la neurona artificial de McCulloch y Pitts (1943). Su red está formada por N nodos binarios conectados a pares y por pesos simétricos ; estos valores se actualizan cada cierto tiempo aleatorio, para ello se calcula una función de activación , tal que , si , y , en otro caso. La red tiene asociada una función de energía, , que resulta ser monótona decreciente bajo dicha actualización. Como anécdota, esta primera red de Hopfield tenía unas 30 neuronas conectadas por 435 pesos sinápticos (se usaba un ordenador que no podría almacenar más de 100 neuronas); hoy en día los grandes modelos de lenguaje (LLMs) usan hasta un billón (millón de millones) de pesos sinápticos.

La dinámica de la red de Hopfield se suele ilustrar con un paisaje energético con una serie de mínimos locales con estados estacionarios asociados; dichos mínimos representan los patrones almacenados en la red como memoria asociativa (la letra J en este ejemplo). Estos mínimos son aprendidos en la fase de entrenamiento usando la regla de Hebb (1949). Cuando se introduce un patrón de entrada (la letra J con ruido) el estado del sistema desciende por el paisaje energético hasta alcanzar un mínimo local (que en este caso coincide con el patrón almacenado de la letra J).

La red de Hopfield tiene muchas limitaciones prácticas. Por ejemplo, el número de patrones que puede almacenar está muy limitado (aunque hay técnicas para aliviar este problema). Pero destaca el problema de los mínimos locales espurios, que no representan ningún patrón almacenado; la dinámica de la red siempre converge a un mínimo, pero solo de forma excepcional converge a uno que representa un patrón entrenado. De hecho, cada patrón tiene una cuenca de atracción que hace que solo se converja a dicho patrón cuando la entrada está en dicha cuenca (cuyos bordes son muy irregulares, lo que lleva a sorpresas a veces inesperadas en el funcionamiento práctico de la red). En los 1980 se usaron técnicas de física estadística para entender el comportamiento de esta red; un buen resumen en el libro de Marc Mezard, Giorgio Parisi y Miguel Ángel Virasoro, «Spin glass theory and beyond: An introduction to the replica method and its applications,»World Scientific (1987).

Como buen físico, Hopfield desarrolló implementaciones físicas de su red de neuronas artificiales; la más famosa la publicó en Science, usando un circuito eléctrico con amplificadores operacionales, con resonadores RC para emular las neuronas artificiales (John J. Hopfield, David W. Tank, «Computing with Neural Circuits: A Model,» Science 233: 625-633 (1986), doi: https://doi.org/10.1126/science.3755256). Sin entrar en muchos detalles, las ecuaciones de los circuitos son muy parecidas a las de la red de Hopfield: , con (J. J. Hopfield, «Neurons with graded response have collective computational properties like those of two-state neurons,» PNAS 81: 3088-3092 (15 May 1984), doi: https://doi.org/10.1073/pnas.81.10.3088; J. J. Hopfield, D.W. Tank,  «“Neural” computation of decisions in optimization problems,» Biological Cybernetics 52: 141-152 (1985), doi: https://doi.org/10.1007/BF00339943).

La idea de que la dinámica se podía representar mediante un paisaje energético facilitó que la red de Hopfield se volviera muy popular y muy inspiradora. Además, Hopfield y Tank (1985) mostraron que se podían resolver muchos problemas de optimización usando estas redes. Para evitar los mínimos locales se podía recurrir a la técnica de recocido simulado de Kirpatrick, Gelatt y Vecchi (1983) que asociaba una temperatura efectiva que determinaba el grado de aleatoriedad en la dínámica. Dicho método tenía la ventaja de que se podía aplicar a implementaciones analógicas con circuitos de la red.

Entre 1983 y 1985, Geoffrey Hinton, junto con Terrence Sejnowski y otros colegas desarrollaron una versión estocástica de la red de Hopfield, bautizada máquina de Boltzmann; como suele ser habitual en informática y en inteligencia artificial publicaron sus primeros artículos en conferencias científicas, lo que no quita que las fotocopias de dichos artículos corrieran como la pólvora entre los investigadores en redes de neuronas artificiales de todo el mundo. En la máquina de Boltzmann el vector de estado de la red tiene asociada a una distribución de probabilidad de Boltzmann, , con , donde es la temperatura y es un campo local.

La gran diferencia con la red de Hopfield es que la máquina de Boltzmann es un modelo generativo. Además, almacena distribuciones estadísticas de patrones, en lugar de patrones individuales. Gracias a la existencia de nodos (neuronas) ocultas puede describir distribuciones de probabilidad generales. Hinton y sus colegas desarrollaron un algoritmo de aprendizaje (entrenamiento) basado en el algoritmo del gradiente que era muy eficiente (en comparación con el usado para la red de Hopfield).

La red de Hopfield y la máquina de Boltzmann son redes de neuronas recurrentes. El gran avance de Hinton y sus colegas fue el algoritmo de retropropagación (back-propagation) de errores para redes directas (no recurrentes), el nacimiento del llamado aprendizaje profundo (deep learning). Lo publicaron en la revista Nature en 1986, siendo uno de los artículos más citados del campo de la inteligencia artificial. La idea de David Rumelhart, Hinton y Ronald Williams fue comparar los patrones a aprender con la salida de la red para obtener una estimación del error que se propaga hacia atrás modulando los pesos sinápticos de una conjunto de capas de neuronas; se llaman capas ocultas a las que están entre la capa de entrada y la de salida. El procedimiento era muy sencillo de implementar y tuvo un enorme impacto.

Las redes de neuronas convolucionales multicapa no tardaron en llegar, LeCun et al. (1989), ver también LeCun et al. (1998). La futura revolución del aprendizaje profundo en el siglo XXI ya estaba en marcha. Las redes de neuronas artificiales empezaron a usarse para todo (en especial, en biomedicina, donde las preferidas eran redes de pequeño tamaño para resolver problemas muy sencillos, pero que requerían conocimiento experto). El campo explotó y describir todos los avances raya lo imposible. Como no puede ser de otra forma, la información Nobel destaca otro gran avance de Hinton relacionado con la física, la máquina de Boltzmann recurrente de 2002. Pero se podrían citar muchos otros trabajos, pues Hinton se convirtió en la gran figura científica que ha liderado la revolución científica en inteligencias artificiales en este siglo, incluyendo las generativas que ahora están tan  de moda.

Hoy en día la inteligencia artificial se usa para todo y es usada por todo el mundo. Muchas personas la usan sin saberlo. Ni Hopfield ni Hinton pudieron soñar con el estado actual de las redes de neuronas artificiales. Pero llevan muchos años disfrutando de ser prestigiosos pioneros a los que solo les faltaba un Premio Nobel. Hasta hoy, pues ya ostentan el más ansiado galardón, el rayo que truena en el firmamento marcando el inicio de la eternidad.