He participado en el programa Universo de Misterios (@UdeMisterios), «879 – Inteligencia Artificial con Francis Villatoro – Parte 1 de 2», Universo de Misterios, 29 dic 2023 [iVoox, Amazon Music, Google Podcasts]. El programa es presentado por José Rafael Gómez (afincado en Cartajima, Málaga), a quien conocí por primera vez a finales de noviembre de 2011. Como prometimos en el episodio 874 hemos hablado de inteligencia artificial, al hilo de su historia, como base para comentar su posible futuro en las próximas décadas. Una charla decorada con cortes de audio cinematográficos seleccionados por José Rafael. Espero que disfrutes del audio.
Ir a descargar el audio en iVoox.
Ir a descargar el audio en iVoox.
Para los interesados en profundizar en el tema de la inteligencia artificial les recomiendo leer el breve pero completo Ramon López de Mántaras Badia, Pedro Meseguer González, «Inteligencia artificial,» ¿Qué Sabemos de…?, Número 87, CSIC, Catarata (2017). Sobre la historia de la inteligencia artificial, con un listado de los hitos más relevantes, recomiendo Clifford A. Pickover, «Artificial Intelligence. An illustrated history,» Sterling (2019); y también la revisión (muy personal) de la historia de Michael Wooldridge, «A Brief History of Artificial Intelligence: What It Is, Where We Are, and Where We Are Going,» Flatiron Books (2021). Por supuesto, a quienes quieran profundizar hay que recomendarles algún buen libro de texto, como Stuart J. Russell, Peter Norvig, «Inteligencia Artificial. Un enfoque moderno,» 2da. edición, Pearson, Prentice Hall (2008).
Super entretenida la charla!
Genial lo de agregarle referencias cinematográficas!
Espero que aparezca la parte 2.
Ya que tal vez se mencione la lejana futura posibilidad de IAs concientes, agrego que la novela «Neuromante» gira en torno a esa idea y es muy entretenida.
Saludos.
Alejol9, la división en dos partes fue decisión de José Rafael, el audio se grabó todo seguido de una sola vez. Y, por cierto, en la segunda parte aparece el problema de la consciencia.
Escuché la segunda parte!!
Estaria bueno si nos pones al dia con esta arquitectura de IA basadas en LLM pero con «módulos de atención». Es lo mismo que «cabezales de atención»?
Estuve leyendo que hay redes que luego de su entrenamiento pueden aprender, como en este artículo:
https://www.nature.com/articles/s41586-023-06668-3
Escuché en tu artículo que el paradigma ya no es aprender conceptos sino entrenar la red con conjuntos enormes de datos. Me parece que el enfoque LLM tiene la debilidad de no poder corregir ni aprender nada nuevo.
Saludos 🙂
Sí, Alejol9, por «módulos de atención» me refería a «cabezales de atención». Por otro lado, en los LLM basados en GPT se usan redes preentrenadas (la P de GPT), que no aprenden, de forma intencionada. En redes de neuronas artificiales nada impide que la red siga aprendiendo (lo que no siempre es una ventaja). La ventaja de las GPT (que no aprenden) es que su comportamiento no puede ser sesgado por la interacción. Recuerda que en ChatGPT se aprende de cada conversación durante dicha conversación, lo que lleva a sesgos no deseados (políticamente incorrectos) que se evitan limitando el número de interacciones en la conversación; una vez superado el límite se debe reiniciar la conversación y todo lo «malaprendido» se «olvida para siempre» (por supuesto lo «bienaprendido» también se olvida).
El aprendizaje continuo que se usa en el artículo lingüístico de Nature que menciones solo es aceptable en entornos seguros, donde se espera que todo lo aprendido sea positivo (una mejora para la red). En entornos reales, donde casi todo lo que se aprende es negativo (pernicioso para el comportamiento de la red), lo más recomendable es prohibir dicho aprendizaje (o limitarlo a las interacciones, como se hace en ChatGPT).
Otro problema por el que los GPT no aprenden dinámicamente es que el rendimiento cae en picado al tener que reescribir la memoria con tantas interacciones.
Obviamente, nuestras arquitecturas cerebrales no separan el procesamiento de la memoria así que no es un problema para nosotros.
También, el número de parámetros de una red neural artificial es fijo (nuestras neuronas engendran nuevas sinapsis), entonces es fácil que entrenar sucesivamente el sistema lleve a sobreajustes al introducir mucha más información en la red. Tengo entendido.