Ann, una persona que tiene una parálisis que no pudo hablar, pudo volver a hacerlo gracias a una neuroprothesis que le permite transmitir la voz del cerebro en tiempo real diseñado por un equipo de investigadores de la UC Berkeley y la UC San Francisco descubrió una manera de restaurar el discurso para las personas con parálisis severa.

La encuesta, publicada en « neurociencia de la naturaleza », resuelve el problema persistente de la latencia en la neuroprotésis del habla, el período de tiempo entre el momento en que un sujeto intenta hablar y el momento en que ocurre el sonido. Utilizando un progreso reciente en el modelado basado en la inteligencia artificial, los investigadores han desarrollado un método de transmisión que sintetiza las señales cerebrales en voz audible casi en tiempo real.

Esta tecnología representa un paso crucial para facilitar la comunicación con las personas que han perdido la capacidad del habla.

«Nuestro enfoque de transmisión incorpora la misma capacidad de decodificación vocal rápida de dispositivos como Alexa y Siri en la neuroprotesis», dijo Gopala Anuchianchipalli. «Usando un algoritmo similar, descubrimos que podríamos Decodificar datos neuronales Y, por primera vez, permita la transmisión de una voz casi sincrónica. El resultado es una síntesis vocal más natural y fluida ”.

«Esta nueva tecnología tiene un enorme potencial para mejorar la calidad de vida de las personas que viven con parálisis severa que afecta el habla», dijo el neurocirujano Edward Chang, el principal co-investigador del estudio.

Los investigadores también han demostrado que su enfoque puede funcionar bien con una variedad de otras interfaces de detección cerebral, incluidas las matrices de microelectrodos (MEA) en los que los electrodos ingresan a la superficie cerebral o grabaciones no invasivas (SEMG) que usan sensores en la cara para medir la actividad muscular.

«Al demostrar una síntesis precisa del cerebro en la voz en otros conjuntos de datos vocales silenciosos, mostramos que esta técnica no se limita a un tipo específico de dispositivo», explica Kaylo Littlejohn. «El mismo algoritmo se puede usar en diferentes métodos, siempre que haya una buena señal».

Según el principal coautor del estudio, Cheol Jun Cho, Neuroprothesis trabaja tomando muestras de datos neuronales de la corteza del motor, la parte del cerebro que controla la producción de habla, luego usa AI para decodificar la función del cerebro del habla.

«Básicamente, interceptamos las señales donde el pensamiento se traduce como la articulación y en el medio de este control del motor», dijo. Entonces, lo que decodificamos es después de que surgió un pensamiento, después de haber decidido qué decir, después de que decidimos qué palabras usaron y cómo mover los músculos del tracto vocal ”.

Para recopilar los datos necesarios para entrenar su algoritmo, los investigadores primero le pidieron a Ann que mirara la pantalla (como la oración: «Hola, ¿cómo estás?») Y luego tratan de decir esta oración en silencio.

«Esto nos proporcionó una cartografía entre las ventanas fragmentadas de la actividad neuronal que genera y la oración objetiva que intenta decir, sin vocalizar en ningún momento», explica Littlejohn.

Como Ann no tiene vocalización residual, los investigadores no tenían un audio objetivo, o una salida, a la que podían asignar datos neuronales, entrada. Resolvieron este desafío usando AI para completar los detalles faltantes.

«Usamos un modelo de texto vocal embarazada para generar audio y simular un objetivo», explica Cho-. Y también usamos la voz de Ann antes de la lesión, por lo que durante la decodificación de la salida, se parece más a la suya.

En su estudio anterior sobre BCI, los investigadores tenían una latencia de decodificación larga, aproximadamente 8 segundos tarde para una sola oración. Con el nuevo enfoque de transmisión, se puede generar una salida audible casi en tiempo real, mientras que el sujeto intenta hablar.

Para medir la latencia, los investigadores utilizaron métodos de detección de voz, lo que les permitió identificar las señales cerebrales que indican el comienzo de un intento de habla.

“Podemos ver que, en relación con este signo de intención, en un segundo, obtenemos los primeros sayos de sonido anuchiandchalli. Y El dispositivo puede decodificar continuamente la palabraPara que Ann pueda continuar hablando sin interrupciones ”.

Esta mayor velocidad no se ha reducido en precisión. La interfaz más rápida ofreció el mismo alto nivel de precisión de decodificación que su enfoque anterior, sin transmisión.

Los investigadores también probaron la capacidad del modelo en tiempo real para sintetizar palabras que no formaban parte del vocabulario del conjunto de datos de entrenamiento; En este caso, 26 palabras raras de alfabeto fonético de la OTAN, como «alfa», «Bravo», «Charlie», etc.

«Queríamos ver si podíamos generalizar las palabras invisibles y realmente decodificar los modelos de discurso de Ann. Descubrimos que nuestro modelo lo hace bien, lo que muestra que los componentes básicos del sonido o la voz aprenden de manera efectiva».

Ann, quien también participó en el estudio de 2023, compartió con los investigadores cómo su experiencia con el nuevo enfoque de síntesis de transmisión se compara con el texto que decodifica la voz del estudio anterior.

«Ann transmitió que la síntesis de transmisión era una modalidad con un mayor control voluntario», explica Anuchianchipalli. Escuchar su propia voz casi real ha aumentado su sentimiento de personificación».

Este último trabajo trae a los investigadores un paso más para lograr un discurso naturalista con los dispositivos BCI, al tiempo que siente los fundamentos de los futuros avances.

Los investigadores también permanecen concentrados en el aumento de la expresividad de la voz de salida para reflejar los cambios en el tono, el sello o el volumen que ocurren durante el habla, como cuando alguien está entusiasmado.