„Google“ pristatė gestų kalbos vertimo į tekstą dirbtinį intelektą „Pixel 11“ telefone

„Google Alphabet Inc.“ ↘ 3.58% „DeepMind“ šiandien pristatė gestų kalbos vertimo į tekstą modelį, vadinamą SL2T, kuris žymi pirmąjį kartą, kai gestų kalbos dirbtinis intelektas yra įdiegtas kaip vartotojo išmaniojo telefono funkcija. Modelis įgalina gestų vertimą į tekstą „Gboard“ ir „Live Transcribe“ programėlėse „Pixel 11“ telefone, pradedant nuo amerikiečių gestų kalbos vertimo į anglų kalbą.deepmind+1

Ši funkcija leidžia kurtiesiems ir neprigirdintiems vartotojams rodyti gestus prieš telefono kamerą visur, kur jie paprastai rašytų tekstą: ieškant internete, rašant žinutes, užduodant klausimus „Gemini“ ar bendraujant akis į akį per „Live Transcribe“. „Google“ teigia, kad testuotojai nustatė, jog gestų rodymas amerikiečių gestų kalba yra greitesnis ir natūralesnis nei rašymas angliškai.siliconangle+1

Kaip tai veikia

SL2T buvo apmokytas naudojant daugiau nei 100 000 valandų gestų duomenų iš daugiau nei 50 gestų kalbų, iš kurių maždaug ketvirtadalis yra amerikiečių gestų kalba. Užuot apdorojęs neapdorotą vaizdo įrašą, įrenginyje veikiantis modelis „MediaPipe Holistic“ seka 130 pagrindinių taškų ant gestų rodančio asmens veido, kūno ir rankų, siųsdamas tik geometrines koordinates į „Google“ serverius. Pradinis kameros vaizdas iškart ištrinamas.unite+1

Modelis verčia tiesiogiai iš pozų koordinačių į tekstą, aplenkdamas tarpines anotacijas, vadinamas glosomis, kuriomis rėmėsi ankstesnės sistemos. „Glosos nesugeba užfiksuoti turtingų, netiesinių gestų kalbų aspektų, tokių kaip nemanualiniai žymenys ir erdvinės konstrukcijos“, – teigė „DeepMind“. „Vertimas tiesiogiai iš orientyrų pašalina dirbtinius žodyno apribojimus ir leidžia vertimo kokybei tiesiogiai didėti kartu su duomenų kiekiu.“engadget

„FLEURS-ASL“ etaloniniame teste SL2T pasiekia 70 BLEURT balų rezultatą, kurį „Google“ apibūdina kaip gerokai viršijantį bet kokį anksčiau skelbtą rezultatą.deepmind+1

Valdymas ir apribojimai

„Google“ įsteigė AI gestų kalbos patariamąjį komitetą, suburdama tokias organizacijas kaip Nacionalinė kurčiųjų asociacija ir Pasaulinė kurčiųjų federacija. Bendrai parengtoje poveikio ataskaitoje SL2T 1.0 apibrėžiamas kaip pagalbinė priemonė ne kritinėse situacijose ir aiškiai atmetamas naudojimas medicinos, teisinėse, policijos ar įdarbinimo srityse. Ataskaitoje teigiama, kad įrankis neatitinka teisinių įsipareigojimų dėl pagrįsto pritaikymo pagal Neįgaliųjų įstatymą.unite

Žinomi apribojimai apima sumažėjusį tikslumą esant prastam apšvietimui, kelių gestų rodančių asmenų palaikymo nebuvimą, 60 sekundžių įvesties limitą vienam klipui ir pokalbio atminties tarp klipų nebuvimą. Modelis nebuvo apmokytas naudojant jaunesnių nei 18 metų asmenų gestus.unite

Projektas prasidėjo su Samu Sepah, kurčiu „Google“ darbuotoju, o kurčiųjų perspektyvos formavo kiekvieną etapą nuo duomenų rinkimo iki diegimo. „Google“ planuoja plėsti palaikymą papildomoms gestų kalboms ir įrenginiams, o gestų kalbos generavimas yra įtrauktas į aktyvių tyrimų sąrašą. Funkcija prieinama be papildomo mokesčio.siliconangle+1