Google julkaisi viittomakielen tekstiksi kääntävän tekoälyn Pixel 11 -puhelimelle

Google Alphabet Inc. ↘ 3.58% DeepMind esitteli tänään SL2T-mallin, joka kääntää viittomakieltä tekstiksi. Tämä on ensimmäinen kerta, kun viittomakielinen tekoäly on integroitu suoraan kuluttajapuhelimen ominaisuudeksi. Malli mahdollistaa viittomakielen muuntamisen tekstiksi Gboard-näppäimistössä ja Live Transcribe -sovelluksessa Pixel 11 -puhelimella, ja se tukee aluksi amerikkalaista viittomakieltä (ASL) englanniksi käännettynä.deepmind+1

Ominaisuus antaa kuuroille ja huonokuuloisille käyttäjille mahdollisuuden viittoa puhelimen kameralle tilanteissa, joissa he normaalisti kirjoittaisivat: verkkohauissa, viestejä kirjoittaessa, Gemini-tekoälyä kysyttäessä tai kasvokkain käytävissä keskusteluissa Live Transcriben avulla. Googlen mukaan testaajat kokivat ASL-viittomisen nopeammaksi ja luonnollisemmaksi kuin englanninkielisen kirjoittamisen.siliconangle+1

Miten se toimii

SL2T on koulutettu yli 100 000 tunnilla viittomadatan avulla, joka kattaa yli 50 viittomakieltä, joista noin neljännes on ASL-kieltä. Raakavideon käsittelyn sijaan laitteessa toimiva MediaPipe Holistic -malli seuraa 130 avainpistettä viittojan kasvoilla, vartalolla ja käsillä, lähettäen vain geometriset koordinaatit Googlen palvelimille. Alkuperäinen kamerakuva hävitetään välittömästi.unite+1

Malli kääntää koordinaatit suoraan tekstiksi ohittaen välivaiheen merkinnät, joita aiemmat järjestelmät käyttivät. "Merkinnät eivät tavoita viittomakielten rikkaita, epälineaarisia piirteitä, kuten ei-manuaalisia merkkejä tai tilallisia rakenteita", DeepMind totesi. "Suora kääntäminen maamerkeistä poistaa keinotekoiset sanastorajoitukset ja mahdollistaa käännöslaadun skaalautumisen suoraan datan mukana".engadget

FLEURS-ASL-vertailutestissä SL2T saavutti 70 BLEURT-pisteen nollapisteen tuloksen, minkä Google kuvailee olevan huomattavasti parempi kuin mikään aiemmin raportoitu tulos.deepmind+1

Hallinto ja rajoitukset

Google perusti viittomakielen tekoälyä käsittelevän neuvoa-antavan komitean, joka kokoaa yhteen järjestöjä, kuten National Association of the Deaf ja World Federation of the Deaf. Yhteistyössä laadittu vaikutusarviointi määrittelee SL2T 1.0:n avustavaksi työkaluksi matalan riskin tilanteisiin ja kieltää nimenomaisesti sen käytön lääketieteellisissä, oikeudellisissa, poliisitoimintaan liittyvissä tai työelämän yhteyksissä. Raportin mukaan työkalu ei täytä Yhdysvaltain vammaislaissa (Americans with Disabilities Act) määriteltyjä kohtuullisten mukautusten lakisääteisiä velvoitteita.unite

Tunnettuja rajoituksia ovat heikentynyt tarkkuus hämärässä, usean viittojan tuen puute, 60 sekunnin aikaraja leikettä kohden sekä keskustelumuistin puuttuminen leikkeiden välillä. Mallia ei ole koulutettu alle 18-vuotiailla viittojilla.unite

Projekti sai alkunsa kuuron Google-työntekijän Sam Sepahin aloitteesta, ja kuurojen näkökulmat ohjasivat jokaista vaihetta datan keräämisestä käyttöönottoon. Google suunnittelee laajentavansa tuen muihin viittomakieliin ja laitteisiin, ja viittomakielen tuottaminen on aktiivisen tutkimuksen kohteena. Ominaisuus on saatavilla ilman lisäkustannuksia.siliconangle+1