Gehirnimplantat entschlüsselt erstmals Sprache und Gesten gleichzeitig

Forscher der University of California, San Francisco haben erstmals demonstriert, dass eine einzige Gehirn-Computer-Schnittstelle die beabsichtigte Sprache und die Oberkörpergesten einer gelähmten Person gleichzeitig übersetzen kann, was die Steuerung eines virtuellen Avatars ermöglicht, der spricht und sich synchron bewegt. Die am Montag in Nature Neuroscience veröffentlichten Ergebnisse markieren einen Schritt zur Wiederherstellung der Reichhaltigkeit natürlicher menschlicher Kommunikation für Menschen mit schweren Lähmungen.medicalxpress+1

Dekodierung von zwei Kanälen gleichzeitig

Unter der Leitung des Neurochirurgen Edward Chang implantierte das Team dünne Elektroden-Arrays auf den sensorimotorischen Kortex von drei Patienten mit unterschiedlichem Grad an Lähmung der Stimmorgane und des Körpers, verursacht durch Erkrankungen wie ALS oder einen Hirnstamminfarkt. Die Elektrokortikographie-Arrays mit 253 Elektroden erfassten neuronale Signale, während die Teilnehmer versuchten, Phrasen zu sprechen und gängige Gesten auszuführen, wie Winken oder den Daumen nach oben, sowohl isoliert als auch gleichzeitig.nature+1

Frühere Schnittstellen ermöglichten entweder Sprache oder Bewegung unabhängig voneinander, doch die Kombination beider beeinträchtigte bisher die Leistung. Changs Team entdeckte, dass die Gehirnsignale, die bei gleichzeitigem Sprechen und Gestikulieren entstehen, nicht einfach die Summe der beiden Einzelsignale sind. "Ein Gespräch ist weit mehr als nur die gesprochenen Worte. Es ist ein vielschichtiger, dynamischer Prozess, der den gesamten motorischen Kortex einbezieht", sagte Chang. Machine-Learning-Dekoder, die speziell auf Daten von gleichzeitigem Sprechen und Gestikulieren trainiert wurden, übertrafen solche, die auf isolierte Aufgaben trainiert waren, und übersetzten die Gedanken von zwei Teilnehmern erfolgreich in Avatar-Befehle.medicalxpress+1

Jenseits von Eye-Tracking

Der aktuelle Behandlungsstandard für Menschen mit schweren Lähmungen, Eye-Tracking-Systeme für Text-zu-Sprache, ist langsam, bietet begrenzte Ausdrucksmöglichkeiten und kann körperlich erschöpfend sein. Die neue Schnittstelle zielt darauf ab, eine natürlichere Alternative zu bieten, indem sie nonverbale Signale zusammen mit Worten wiederherstellt. "Diese vielversprechenden Ergebnisse geben mir Hoffnung, dass Patienten mit schweren Lähmungen in Zukunft die ganzheitliche Natur der menschlichen Kommunikation zurückgewinnen können", sagte Debara Tucci, Direktorin des National Institute on Deafness and Other Communication Disorders der NIH.medicalxpress+1

Wie es weitergeht

Das in dieser Studie verwendete System basierte auf kabelgebundenen Verbindungen zwischen implantierten Sensoren und externen Verarbeitungseinheiten. Chang erklärte, sein Team werde bald eine vollständig implantierbare, drahtlose Version mit besseren Aussichten für den langfristigen, täglichen Gebrauch testen. Die Forschung baut auf früheren Arbeiten des Labors auf, die 2023 zeigten, dass ein Gehirnimplantat die Sprache und Mimik eines digitalen Avatars für einen einzelnen gelähmten Patienten steuern konnte.techxplore+2