Google lanserer AI for tegnspråk til tekst på Pixel 11

Google Alphabet Inc. ↘ 3.58% DeepMind introduserte i dag en tegnspråk-til-tekst-modell kalt SL2T, som markerer første gang tegnspråk-AI er inkludert som en funksjon i en smarttelefon. Modellen driver tegnspråk-til-tekst-diktering i Gboard og Live Transcribe på Pixel 11, og lanseres med oversettelse fra amerikansk tegnspråk (ASL) til engelsk.deepmind+1

Funksjonen gjør det mulig for døve og hørselshemmede brukere å tegne foran telefonens kamera der de ellers ville skrevet tekst, enten det er for å søke på nettet, skrive meldinger, spørre Gemini eller svare i samtaler ansikt til ansikt via Live Transcribe. Google opplyser at testbrukere fant det raskere og mer naturlig å tegne på ASL enn å skrive på engelsk.siliconangle+1

Hvordan det fungerer

SL2T er trent på over 100 000 timer med tegnspråkdata som dekker mer enn 50 tegnspråk, hvorav omtrent en fjerdedel er ASL. I stedet for å behandle råvideo, bruker en modell på enheten kalt MediaPipe Holistic 130 nøkkelpunkter på brukerens ansikt, kropp og hender, og sender kun geometriske koordinater til Googles servere. Den originale kamerastrømmen slettes umiddelbart.unite+1

Modellen oversetter direkte fra posisjonskoordinater til tekst, og omgår mellomliggende annoteringer kjent som glossing, som tidligere systemer var avhengige av. "Glossing klarer ikke å fange opp rike, ikke-lineære aspekter ved tegnspråk, som ikke-manuelle markører og romlige konstruksjoner," uttaler DeepMind. "Ved å oversette direkte fra landemerker fjerner vi kunstige begrensninger i ordforrådet og lar oversettelseskvaliteten skalere direkte med datamengden."engadget

På FLEURS-ASL-testen oppnår SL2T en zero-shot-score på 70 BLEURT, noe Google beskriver som langt over alle tidligere rapporterte resultater.deepmind+1

Styring og begrensninger

Google opprettet AI Sign Language Advisory Committee, som samler organisasjoner som National Association of the Deaf og World Federation of the Deaf. En medforfattet konsekvensrapport definerer SL2T 1.0 som et hjelpemiddel for situasjoner med lav risiko, og utelukker eksplisitt bruk i medisinske, juridiske, politimessige eller arbeidsrelaterte sammenhenger. Rapporten slår fast at verktøyet ikke oppfyller juridiske krav til rimelig tilrettelegging under Americans with Disabilities Act.unite

Kjente begrensninger inkluderer redusert nøyaktighet i dårlig lys, manglende støtte for flere tegnere samtidig, en tidsbegrensning på 60 sekunder per klipp, og ingen samtaleminne på tvers av klipp. Modellen er ikke trent på tegnere under 18 år.unite

Prosjektet startet med Sam Sepah, en døv Google-ansatt, og perspektiver fra døve har formet alle stadier fra datainnsamling til utrulling. Google planlegger å utvide til flere tegnspråk og enheter, og tegnspråkgenerering er oppført som aktiv forskning. Funksjonen er tilgjengelig uten ekstra kostnad.siliconangle+1