Google lanserar AI för teckenspråk till text i Pixel 11

Google Alphabet Inc. ↘ 3.58% DeepMind introducerade idag en teckenspråk-till-text-modell kallad SL2T, vilket markerar första gången teckenspråks-AI har inkluderats som en funktion i en konsument-smartphone. Modellen driver teckenspråksdiktering i Gboard och Live Transcribe på Pixel 11, och lanseras med översättning från amerikanskt teckenspråk (ASL) till engelska.deepmind+1

Funktionen gör det möjligt för döva och hörselskadade användare att teckna framför telefonens kamera där de annars skulle ha skrivit text, oavsett om det gäller att söka på webben, skriva meddelanden, fråga Gemini eller svara i samtal ansikte mot ansikte via Live Transcribe. Google uppger att testanvändare tyckte att det var snabbare och mer naturligt att teckna på ASL än att skriva på engelska.siliconangle+1

Hur det fungerar

SL2T har tränats på över 100 000 timmar av teckenspråksdata som omfattar mer än 50 teckenspråk, varav ungefär en fjärdedel är ASL. Istället för att bearbeta råvideo använder en modell på enheten, kallad MediaPipe Holistic, 130 nyckelpunkter på användarens ansikte, kropp och händer, och skickar endast geometriska koordinater till Googles servrar. Den ursprungliga kameraströmmen raderas omedelbart.unite+1

Modellen översätter direkt från koordinater till text, vilket kringgår mellanliggande annoteringar kända som glossing, som tidigare system var beroende av. "Glossing misslyckas med att fånga rika, icke-linjära aspekter av teckenspråk, såsom icke-manuella markörer och rumsliga konstruktioner," säger DeepMind. "Genom att översätta direkt från landmärken tar vi bort artificiella begränsningar i ordförrådet och låter översättningskvaliteten skala direkt med datamängden."engadget

På FLEURS-ASL-testet uppnår SL2T en zero-shot-poäng på 70 BLEURT, vilket Google beskriver som långt över alla tidigare rapporterade resultat.deepmind+1

Styrning och begränsningar

Google inrättade AI Sign Language Advisory Committee, som samlar organisationer som National Association of the Deaf och World Federation of the Deaf. En medförfattad konsekvensrapport definierar SL2T 1.0 som ett hjälpmedel för situationer med låg risk och utesluter uttryckligen användning i medicinska, juridiska, polisiära eller arbetsrelaterade sammanhang. Rapporten slår fast att verktyget inte uppfyller juridiska krav på skälig anpassning enligt Americans with Disabilities Act.unite

Kända begränsningar inkluderar försämrad noggrannhet i svagt ljus, inget stöd för flera tecknare samtidigt, en tidsgräns på 60 sekunder per klipp och inget samtalsminne mellan klipp. Modellen har inte tränats på tecknare under 18 år.unite

Projektet startade med Sam Sepah, en döv Google-anställd, och perspektiv från döva har format alla stadier från datainsamling till utrullning. Google planerar att expandera till fler teckenspråk och enheter, och teckenspråksgenerering är listat som aktiv forskning. Funktionen är tillgänglig utan extra kostnad.siliconangle+1