Ciencia para todos T05E06: La música también se puede disfrutar a través del tacto

Por Francisco R. Villatoro, el 21 octubre, 2022. Categoría(s): Ciencia • Podcast Ciencia para Todos (SER) • Recomendación • Science

Te recomiendo escuchar el episodio T05E06, «Hablamos con Paúl Remache, el investigador que ha hecho un nuevo prototipo para que las personas sordas sientan la música a través del tacto», 20 oct 2022 [13:56 min.], del programa de radio “Ciencia para Todos”, en el que participo junto a Enrique Viguera (Universidad de Málaga), coordinador de Encuentros con la Ciencia. Esta sección semanal del programa “Hoy por Hoy Málaga”, que presenta Esther Luque Doblas (o en alguna ocasión Isabel Ladrón de Guevara), se emite todos los jueves en la Cadena SER Málaga (102.4 FM) sobre las 13:45. Enrique y yo intervenimos desde nuestras propias casas.

Hemos entrevistado a Byron Paúl Remache Vinueza, doctorando en Ingeniería Mecatrónica en el Departamento de Electrónica de la UMA, bajo la supervisión de los doctores Andrés Trujillo y Fernando Vidal, profesores de la UMA. Ha sido noticia gracias a «Un prototipo ideado en la UMA permitirá escuchar música a través del sentido del tacto», Divulga, UMA, 19 oct 2022. Ha desarrollado en su tesis doctoral  un algoritmo audio-táctil que usa ‘ilusiones táctiles’ para traducir la música monofónica en un fichero MIDI a estímulos tangibles, vibraciones en pulseras colocadas en ambas muñecas. Estos ‘estímulos vibrotáctiles’ generan ‘representaciones simbólicas’ que enriquecen la experiencia del disfrute de la música. Además, podrían servir de ayuda a las personas con discapacidad auditiva. El artículo es Byron Remache-Vinueza, Andrés Trujillo-León, …, Fernando Vidal-Verdú, «Mapping Monophonic MIDI Tracks to Vibrotactile Stimuli Using Tactile Illusions,» in C. Saitis, L. Farkhatdinov, S. Papetti (eds), «Haptic and Audio Interaction Design (HAID 2022)», Lecture Notes in Computer Science (LNCS) 13417: 115-124 (18 Aug 2022), doi: https://doi.org/10.1007/978-3-031-15019-7_11.

Puedes escuchar el episodio en Play SER, «Hablamos con Paúl Remache, el investigador que ha hecho un nuevo prototipo para que las personas sordas sientan la música a través del tacto», 20 oct 2022 [13:56 min.].

Esther: Esta semana es noticia un prototipo concebido en la Universidad de Málaga para que las personas con discapacidad auditiva puedan escuchar la música a través del sentido del tacto. Ha sido desarrollado por el ecuatoriano Paúl Remache que realiza su doctorado en Ingeniería Mecatrónica en el Departamento de Electrónica de la UMA. Todavía es un prototipo así que está lejos de llegar al mercado. Me emocionó mucho la noticia… Enrique, ¿cómo en la actualidad disfrutan de la música las personas con discapacidad auditiva?

Enrique: «A mí también me emocionó esta bonita noticia». Las personas con discapacidad auditiva pueden disfrutar de la música de diferentes maneras en función de su nivel de sordera. Cuando estas personas usan implantes cocleares o audífonos pueden escuchar la música y las letras de las canciones, aunque con en un rango de frecuencias y con una calidad reducida que depende de las prestaciones técnicas de estos equipos. Estas personas suelen combinar la escucha de la música con la lectura de la letra o con interpretaciones en lengua de signos.

En los casos en los que la discapacidad auditiva sea de tal nivel que no permite el uso de ayudas técnicas, estas personas pueden sentir las vibraciones producidas por la música a través de su cuerpo, acercándose a un altavoz o en un concierto donde la potencia musical sea alta. Para un disfrute pleno de una canción con música y letra, sobre todo los para los sordos signantes, se recomienda la interpretación en la lengua de signos. Ya hay algunos cantantes pop concienciados con la comunidad sorda, como Rozalén en España, que convierten su música y sus conciertos en accesibles para todos gracias al lenguaje signado. Una iniciativa muy loable que muchos otros artistas deberían adoptar.

Esther: Las personas con discapacidad auditiva pueden sentir las vibraciones de la música a través de su cuerpo. El nuevo prototipo desarrollado en la UMA usa las vibraciones para ayudar a disfrutar de la música. Francis, ¿conoces otras propuestas tecnológicas similares que permiten el disfrute de la música para las personas sordas?

Francis: Se han desarrollado muchas aplicaciones con ese objetivo, transformar la música en vibraciones o en luces de colores para que la puedan disfrutar las personas con discapacidad auditiva. Hay dispositivos en forma de pulsera (como el de la startup brasileña Ludwig Project) que produce vibraciones en la muñeca en función de las notas musicales que se interpretan; conectada por bluetooth a un teléfono móvil o una tableta permite sentir canciones, aunque solo la melodía principal pues solo puede ejecutar una nota musical al mismo tiempo.

También hay dispositivos que traducen el sonido en luz, ofreciendo imágenes visuales que se acompasan al ritmo de la música. Como el sistema de Iluminet que traduce el tono, ritmo y volumen del sonido en una serie de patrones luminosos en una pantalla de LEDs. Esta traducción de la música a luz se ha usado en eventos y espectáculos. Y muchas otras propuestas tecnológicas, como cascos que vibran, similares a los auriculares que todos usamos, pero que transmiten el sonido mediante vibraciones directamente al nervio auditivo a través del cráneo, sin pasar por el tímpano. Porque cuando el problema está en el tímpano, el nervio auditivo suele funcionar perfectamente.

Esther: «Muy interesante. Me recuerda a la película ‘CODA: Los sonidos del silencio’ de Siân Heder, 2021, ganadora del Óscar a la mejor película de 2022. Una historia de una familia de sordos en la que un solo miembro de la familia oye, la hija. Ella descubre su pasión por la música. Si no la habéis visto os la recomiendo. Una historia muy bonita». En la UMA se ha desarrollado el prototipo de un nuevo dispositivo electrónico que transforma la música en vibraciones que se reciben a través de dos pulseras en las muñecas. Tenemos al teléfono a su diseñador, Paúl Remache, doctorando en Ingeniería Mecatrónica en el Departamento de Electrónica de la UMA, bajo la supervisión de los doctores Andrés Trujillo y Fernando Vidal, profesores de la UMA. [Saludos] Paúl, ¿cómo funciona vuestro prototipo y qué ventajas tiene respecto a otras propuestas anteriores? «¿Y por qué has estudiado esto?»

Paúl: «Gracias por la invitación. No he visto la película CODA, pero la veré. Nuestro prototipo funciona con un algoritmo audiotáctil que extrae la información musical o las características musicales de un tipo de archivo con información musical llamado MIDI y lo transformamos en retroalimentación vibrotáctil, estímulos vibrotáctiles que enviamos a través de pulseras que vibran hacia los usuarios. Lo novedoso de nuestro prototipo es que usamos un recurso muy interesante, las ilusiones táctiles. Gracias a ellas hacemos una traducción dinámica, un poco más dinámica de la información musical que se encuentra en este tipo de archivos».

Enrique: El concepto de ilusiones táctiles parece muy interesante. Si no he entendido mal, sería como usar la dinámica de las vibraciones, en forma de movimiento, cambios de dirección y localización, para agregar una representación simbólica de las emociones que transmite la música. Paúl, ¿esto la hacéis con dos pulseras, una en cada muñeca? ¿Cómo nos podrías describir en palabras que todos entendamos lo que las ilusiones táctiles? ¿Cómo las usáis en vuestros experimentos? Esther: «¿Y qué son las ilusiones táctiles?»

Paúl: «Todos hemos experimentado una ilusión visual. Los experimentos en los que te ponen una imagen enfrente y tu cerebro procesa dicha imagen, pero en algún momento percibe que hay algo diferente a lo que parecía que había antes, eso es una ilusión visual. Algo similar sucede con las ilusiones táctiles. Nosotros enviamos estímulos vibratorios a la piel, pero el cerebro percibe otra cosa. En nuestro caso usamos ilusiones táctiles gracias al uso de dos actuadores en las pulseras; utilizamos el espacio entre los actuadores para generar un movimiento ilusorio, por ejemplo, hacer percibir que algo se está moviendo entre las dos pulseras».

Enrique: «En una una ilusión táctil, ¿la respuesta puede ser diferente para personas diferentes?»

Paúl: «Lo hemos investigado. Hemos presentado nuestro primer prototipo en un congreso en Londres. Como se muestra en nuestra publicación, hemos encontrado que al traducir las características musicales de una composición obtenemos una respuesta emocional de las personas a partir de las ilusiones táctiles o arreglos de ilusiones táctiles que se obtienen al aplicar nuestro algoritmo. Emociones como felicidad, tristeza, miedo y paz que han identificado, aunque en mayor o menor medida en comparación con la respuesta emocional que se obtiene con la música normal».

Fuente: Remache-Vinueza et al. (2022) https://doi.org/10.1007/978-3-031-15019-7_11.

Francis: El sistema auditivo humano responde a frecuencias entre 50 Hz y 20000 Hz, aunque con la edad todos perdemos la audición de los agudos. Pero la piel puede percibir vibraciones en un rango más pequeño, entre 3 Hz y 1000 Hz. Paúl, tenéis que mapear el rango de frecuencias sonoro en el rango de vibraciones de la piel, ¿cómo hacéis esta transformación de frecuencias? ¿Transformáis las notas musicales como unidades discretas o vuestra transformación es continua entre ambos rangos de frecuencias?

Paúl: «Usamos un recurso que ya se utiliza en la música, la trasposición musical. Si una nota tiene una frecuencia por encima del límite superior a la frecuencia que se percibe a través del tacto, lo que hacemos es tomar esa nota y trasponerla a una nota en una octava más baja cuya frecuencia se encuentre dentro del rango de frecuencias perceptible. Para contrarrestar la pérdida de un componente musical usamos la adición de la ilusión táctil. Creamos entre los dos actuadores, entre los dos brazaletes, un espacio ilusorio que, para que me entienda es como una escala musical (ilusoria) que se encuentra entre ambos actuadores. Cada vez que que se toca una nota musical, esta nota musical se traspone al rango que podemos percibir, pero también se ubica en el espacio, en dicho espacio ilusorio entre los actuadores».

«Cada nota musical se sitúa en un espacio específico. Cuando se toca una melodía o varias notas se siente, se percibe, que las notas están tocándose en diferentes lugares entre las pulseras. Lo más interesante es que a este recurso han respondido muy bien las personas que han utilizado el primer prototipo».

Esther: El prototipo desarrollado en la UMA ha sido desarrollado como parte de tu tesis doctoral Paúl. Ahora mismo se conecta a un ordenador desde recibe la traducción de las señales musicales a vibraciones. Paúl, ¿tenéis pensado desarrollar una versión para teléfonos móviles para que cualquier persona pueda usarlo?

Paúl: «Ahora mismo se requiere de una instalación bastante compleja, con amplificadores, interfaces, etcétera, lo que limita la portabilidad. Ahora mismo, junto con mis supervisores, estamos explorando  nueva tecnología para esto; de hecho, la tecnología en ingeniería de audio y sonido está muy desarrollada y toda ella es aplicable en este campo. No dudamos de que en un futuro será factible reducir el tamaño y el peso de nuestro prototipo para obtener un producto que sea portable, que se pueda conectar a un dispositivo móvil. Estamos seguro de que en el futuro se podrá hacer».

Fuente: Remache-Vinueza et al. (2022) https://doi.org/10.1007/978-3-031-15019-7_11.

Francis: Hoy en día, con la realidad virtual y la realidad aumentada, están de moda los sistemas hápticos que incorporan el sentido del tacto a la experiencia inmersiva (por ejemplo, a la hora de jugar videojuegos). Paúl, vuestro prototipo además de permitir escuchar la música también permitirá extender con sensaciones táctiles la experiencia musical. Vuestro dispositivo podría tener aplicaciones en las personas sin discapacidad auditiva al ofrecer una experiencia musical inmersiva más completa. Paúl, ¿habéis considerado esta posibilidad? ¿Qué nos puedes contar al respecto?

Paúl: «Así es Francis, de hecho, en el artículo (paper) que hemos publicado en el congreso en Londres, para obtener los resultados hicimos pruebas con personas que pueden escuchar. Y hemos encontrado que nuestra aplicación, y la de muchos otros, mejoran la experiencia de escuchar música. Hoy en día la música es muy poderosa y nos puede cambiar el ánimo, puede cambiar nuestro estado emocional. Con las vibraciones táctiles la música puede influir mucho más, ya que la experiencia mejora muchísimo. Y estos resultados no solo son de nuestra investigación, sino que son resultados que se han publicado en otros estudios similares que se han realizado en otras universidades con otro tipo de prototipos. Así que sí, las personas que escuchan también pueden beneficiarse de nuestro prototipo».

Enrique: En los conciertos la experiencia musical está aderezada por un espectáculo visual que logra una experiencia multimedia y multisensorial. Paúl, vuestro dispositivo todavía es un prototipo, pero ¿podría usarse en los conciertos para enriquecer la experiencia de los espectadores?

Paúl: «Yo pienso que en el futuro será factible hacer portable nuestro dispositivo. Gracias ello será posible usarlo en conciertos. De hecho, hay artistas como Martin Garrix, que hace música electrónica, que ha diseñado una instalación gigantesca con vibraciones para las personas que no pueden escuchar. Yo creo que en un futuro el uso de nuestra aplicación será muy interesante en conciertos».

Esther: Agradecemos a Paúl Remache, del Departamento de Electrónica de la UMA, por habernos explicado el prototipo que ha desarrollado en su tesis doctoral para escuchar la música a través del sentido del tacto. [Despedida y cierre]



Deja un comentario