Foto: ekraanikuva

Läbimurdeline ajuimplantaat ja digitaalne avatar võimaldavad insuldi üleelanutel rääkida esimest korda 18 aasta jooksul näoilmetega. 30-aastaselt insuldi saanud ja halvatuks jäänud Ann aitab teadlastel välja töötada uut aju-arvutitehnoloogiat, mis võiks ühel päeval võimaldada temasugustel inimestel suhelda loomulikumalt inimest meenutava digitaalse avatari kaudu.

30-aastaselt sai Ann ajurabanduse, mille tagajärjel jäi ta raskelt halvatuks. Ta kaotas kontrolli kõigi oma keha lihaste üle ja ei suutnud isegi hingata. Insuldi sai ta täiesti ootamatult ja siiani selgusetutel põhjustel.

Järgmise viie aasta jooksul läks Ann igal õhtul magama, kartes, et sureb une pealt. Kulus aastaid füsioteraapiat, enne kui ta suutis oma näolihaseid piisavalt liigutada, et naerda või nutta. Ent need lihased, mis oleks võimaldanud tal rääkida, jäid liikumatuks.

“Ühe ööga võeti minult kõik ära,” kirjutas Ann, kasutades seadet, mis võimaldab tal väikeste pealiigutustega arvutiekraanil aeglaselt tippida. “Mul oli 13-kuune tütar, 8-aastane kasupoeg ja 26-kuune abielu.”

Ann, uuringus osaleja. Foto autor Noah Berger

Nüüd aitab Ann UC San Francisco ja UC Berkeley teadlastel välja töötada uut aju-arvutitehnoloogiat, mis võiks ühel päeval võimaldada temasugustel inimestel suhelda loomulikumalt inimest meenutava digitaalse avatari kaudu.

See on esimene kord, kui ajusignaalidest sünteesitakse kõne või näoilmeid. Süsteem suudab need signaalid tekstiks dekodeerida kiirusega peaaegu 80 sõna minutis, mis on märkimisväärne edasiminek võrreldes 14 sõnaga minutis, mida tema praegune sideseade pakub.

Edward Chang, MD, UCSF-i neuroloogilise kirurgia õppetooli juhataja, kes on aju-arvuti liidesena ehk BCI-na tuntud tehnoloogia kallal rohkem kui kümme aastat töötanud, loodab, et see uusim teadustöö läbimurre, mis avaldati 23. augustil 2023 ajakirjas Nature, viib lähitulevikus FDA poolt heaks kiidetud süsteemini, mis võimaldab süsteesida kõnet ajusignaalidest.

“Meie eesmärk on taastada täielik, kehastatud suhtlemisviis, mis on meie jaoks kõige loomulikum viis teistega rääkida,” ütles Chang, kes on UCSF Weilli neuroteaduste instituudi liige ja Jeanne Robertsoni tunnustatud professor. “Need edusammud viivad meid palju lähemale sellele, et muuta see patsientide jaoks tõeliselt toimivaks lahenduseks.”

Allikas: Youtube 

Anni töö UCSF-i neurokirurgi Edward Changi (MD) ja tema meeskonnaga mängib olulist rolli selliste seadmete arendamise edendamisel, mis aitavad rääkida inimestel, kes ei saa rääkida. Video autor Pete Bell

Kõnesignaalide dekodeerimine

Ann oli enne 2005. aasta insulti Kanadas keskkooli matemaatikaõpetaja.

“Lukustunud sündroom ehk LIS on just selline, nagu see mõiste ütlebki,” kirjutas ta. “Sa oled kõigest täielikult teadlik, sul on täielik tunnetus, kõik viis meelt töötavad, kuid oled lukustatud oma kehasse, kus lihased ei tööta. Õppisin uuesti iseseisvalt hingama, nüüd liigun kaelast saadik, saan naerda ja nutta ning lugeda ning aastate jooksul on naeratus taastunud, saan silmi pilgutada ja paar sõna öelda.

Tervenedes mõistis ta, et saab oma kogemusi teiste abistamiseks kasutada, ja nüüd soovib ta saada füüsilise taastusravi asutuse nõustajaks.

“Ma soovin, et sealsed patsiendid näeksid mind ja teaksid, et nende elu pole veel lõppenud,” kirjutas ta. “Ma tahan neile näidata, et puue ei tohiks meid takistada ega pidurdada.”

Ta sai Changi uuringust teada 2021. aastal pärast seda, kui luges halvatud mehest nimega Pancho, kes aitas meeskonnal tema ajusignaale tekstiks tõlkida, kui ta üritas rääkida. Ta oli ka aastaid varem kogenud ajutüve insulti ja polnud selge, kas tema aju suudab endiselt kõneliigutustest märku anda. Ei piisa ainult millestki mõtlemisest; inimene peab proovima tegelikult rääkida, et süsteem sellest aru saaks. Panchost sai esimene halvatusega elanud inimene, kes demonstreeris, et kõne-aju signaale on võimalik täistekstideks dekodeerida.

Koos Anniga püüdis Changi meeskond arendada midagi veelgi ambitsioonikamat: dekodeerida tema ajusignaalid mitmekülgsemaks ehk sünteesida kõne koos liigutustega, mis vestluse ajal inimese nägu ilmestavad.

Selleks implanteeris meeskond tema aju pinnale paberõhukese ristküliku, mis koosnes 253 elektroodist, piirkondadesse, mis on kõne jaoks kriitilise tähtsusega. Elektroodid püüdsid kinni ajusignaalid, mis insuldi puudumisel oleksid läinud Anni huulte, keele, lõualuu ja kõri lihastesse ning ka tema näole. Anni pea külge kinnitatud porti ühendatud kaabel liitis elektroodid arvutipangaga.

Ann töötas nädalaid koos meeskonnaga, et õpetada süsteemi tehisintellekti algoritme, et tuvastada tema ainulaadsed ajusignaalid kõne jaoks. See hõlmas erinevate fraaside kordamist 1024-sõnalisest vestlussõnavarast ikka ja jälle, kuni arvuti tundis ära kõigi kõne põhiliste helidega seotud ajutegevuse mustrid.

Chang implanteeris Anni aju pinnale õhukese elektroodide ristküliku, et koguda kõnelihastesse saadetud signaale,

kui Ann üritab rääkida. Ken Probsti illustratsioon

Elektroodid asetati ajupiirkondadele, mille kohta meeskond oli varem kindlaks teinud, et need olid kõne jaoks elutähtsad.

Foto autor: Todd Dubnicoff

Ann töötas koos meeskonnaga tehisintellekti algoritmi väljaõppel, et tuvastada tema ajusignaalid, mis on seotud foneemidega, kõne allüksustega, mis moodustavad sõnu. Foto autor Noah Berger

“Oli põnev näha, kuidas ta ütles, et me lihtsalt proovime seda teha, ja siis näha, et see juhtus kiiremini, kui keegi oli osanud arvata,” ütles Anni abikaasa Bill, kes sõitis koos temaga Kanadast kaasa, et toetada naist uuringu ajal. “Tundub, et nad innustavad üksteist, et võimalikult kaugele jõuda.”

Selle asemel, et õpetada tehisintellekti terveid sõnu ära tundma, lõid teadlased süsteemi, mis dekodeerib sõnu väiksematest komponentidest, mida nimetatakse foneemideks. Need on kõne allüksused, mis moodustavad suulise sõna samamoodi nagu tähed kirjaliku. Näiteks sõna „hello“ (tere) sisaldab nelja foneemi: “HH”, “AH”, “L” ja “OW”.

Sellist lähenemisviisi kasutades oli arvutil vaja õppida ära ainult 39 foneemi, et mis tahes ingliskeelne sõna dešifreerida. See suurendas süsteemi täpsust ja muutis selle kolm korda kiiremaks.

“Täpsus, kiirus ja sõnavara on üliolulised,” ütles Sean Metzger, kes töötas välja tekstidekoodri koos Alex Silvaga, kes on mõlemad UC Berkeley ja UCSF-i ühise bioinseneriprogrammi magistrandid. “See annab Annile potentsiaali aja jooksul suhelda peaaegu sama kiiresti kui meie ning pidada palju loomulikumaid ja normaalsemaid vestlusi.”

Näo ja hääle lisamine

Anni kõne sünteesimiseks töötas meeskond välja kõne sünteesimise algoritmi, mille nad isikupärastasid nii, et see kõlaks nagu tema hääl enne vigastust, kasutades selleks Anni pulmas tehtud kõnesalvestist.

“Mu aju reageerib naljakalt, kui kuuleb mu sünteesitud häält,” kirjutas ta vastuseks küsimusele. “See on nagu kuuleks üht vana head sõpra.”

Ta ootab põnevusega päeva, mil ka tema tütar – kes teab vaid tema praeguse sidevahendi isikupäratut, briti aktsendiga häält – kuuleb seda.

“Mu tütar oli 1-aastane, kui mul oli vigastus, ta nagu ei tunneks päris Anni… Tal pole aimugi, kuidas see Ann kõlab.”

Ma soovin, et patsiendid… näeksid mind ja teaksid, et nende elu pole veel läbi. Tahan neile näidata, et puuded ei pea meid takistama ega pidurdama.

Meeskond animeeris Anni avatari näo lihaste liigutusi simuleeriva ja animeeriva tarkvara abil, mille on välja töötanud tehisintellektiga juhitud näoanimatsiooni tootev ettevõte Speech Graphics. Teadlased lõid kohandatud masinõppeprotsesse, mis võimaldasid ettevõtte tarkvaral suhelda Anni ajust saadetavate signaalidega, kui ta üritas rääkida, ja teisendada need oma avatari näo liigutusteks, pannes lõualuu avama ja sulgema, huuled liikuma ja keele käima üles-alla, mis omakorda aitab näoliigutustega kuvama õnnelikku, kurba ja üllatunud ilmet.

“Me korvame tema aju ja häälepaelte vahelisi ühendusi, mis on insuldi tõttu katkenud,” ütles teadur Kaylo Littlejohn, kes töötab koos Changi ja Gopala Anumanchipalliga, kes on Berkeley doktorant, UC elektrotehnika ja arvutiteaduste professor. “Kui Ann esimest korda seda süsteemi kasutas avatari näo paralleelseks rääkimiseks ja liigutamiseks, teadsin, et see saab olema miski, millel on tõeline mõju.”

Meeskonna jaoks on järgmiseks oluliseks sammuks juhtmevaba versiooni loomine, mis ei nõuaks Anni füüsilist ühendust BCI-ga.

“Sellised inimesed nagu Ann saaksid selle tehnoloogia abil oma arvuteid ja telefone vabalt juhtida ja sellel oleks nende iseseisvusele ja sotsiaalsele suhtlusele suur mõju,” ütles uuringuprojekti kaasautor David Moses, PhD, neuroloogilise kirurgia professor.

Tehnoloogia arendamisele kaasaaitamine on muutnud Anni elu

“Kui ma olin hooldushaiglas, ei teadnud logopeed, mida minuga teha,” kirjutas ta vastuseks küsimusele. „Selles uuringus osalemine on andnud mulle eesmärgi, tunnen, et panustan ühiskonda. On tunne, et mul on jälle töökoht. See on hämmastav, et olen nii kaua elanud; see uuring on võimaldanud mul tõesti elada, kuni ma veel elus olen!”

Kliiniliste uuringute koordinaator Max Dougherty ühendab Anni ajus olevad elektroodid arvutiga,

mis tõlgib tema kõne avatari häälega sõnadeks ja näoliigutusteks. Foto autor Noah Berger

Allikas: ucsf.edu

Tõlkis Hando Tõnumaa