Hjärnimplantat avkodar tal och gester samtidigt för första gången

Forskare vid University of California, San Francisco har för första gången visat att ett enda hjärna-dator-gränssnitt kan översätta en förlamad persons avsedda tal och överkroppsgester samtidigt, vilket gör det möjligt för dem att styra en virtuell avatar som talar och rör sig i samklang. Resultaten, som publicerades på måndagen i Nature Neuroscience, markerar ett steg mot att återställa rikedomen i naturlig mänsklig kommunikation för personer med svår förlamning.medicalxpress+1

Avkodning av två kanaler samtidigt

Under ledning av neurokirurgen Edward Chang implanterade teamet tunna elektroder på hjärnans sensorimotoriska cortex hos tre patienter med varierande grad av förlamning i stämband och kropp orsakad av tillstånd som ALS och hjärnstamsinfarkt. Elektrokortikografi-matriserna med 253 elektroder fångade upp neurala signaler när deltagarna försökte säga fraser och utföra vanliga gester, som att vinka eller ge tummen upp, både isolerat och tillsammans.nature+1

Tidigare gränssnitt har möjliggjort antingen tal eller rörelse oberoende av varandra, men att kombinera de två har tidigare försämrat prestandan. Changs team upptäckte att de hjärnsignaler som produceras under samtidigt tal och gest inte bara är en summa av de två individuella signalerna. "Samtal handlar om mycket mer än orden som sägs. Det är en process i flera lager som involverar hela motoriska cortex," sa Chang. Maskininlärningsdekodrar som tränats specifikt på data från samtidigt tal och gest överträffade de som tränats på isolerade uppgifter och översatte framgångsrikt två deltagares tankar till avatarkommandon.medicalxpress+1

Bortom ögonstyrning

Dagens standardbehandling för personer med svår förlamning, ögonstyrningssystem som möjliggör text-till-tal, är långsam, erbjuder begränsade uttrycksmöjligheter och kan vara fysiskt utmattande. Det nya gränssnittet syftar till att erbjuda ett mer naturligt alternativ genom att återställa icke-verbala signaler tillsammans med ord. "Dessa lovande resultat ger mig hopp om att patienter med svår förlamning i framtiden kommer att kunna återta den holistiska naturen i mänsklig kommunikation," sa Debara Tucci, chef för NIH:s nationella institut för dövhet och andra kommunikationsstörningar.medicalxpress+1

Vad händer härnäst

Systemet som användes i denna studie förlitade sig på trådbundna anslutningar mellan implanterade sensorer och externa processorenheter. Chang sa att hans team snart kommer att testa en helt implanterbar, trådlös version med bättre utsikter för långsiktig, daglig användning. Forskningen bygger på laboratoriets tidigare arbete, som 2023 visade att ett hjärnimplantat kunde styra en digital avatars tal och ansiktsuttryck för en enskild förlamad patient.techxplore+2