Google uvádí na Pixel 11 umělou inteligenci pro překlad znakového jazyka do textu

Společnost Google Alphabet Inc. ↗ 0.46% DeepMind dnes představila model pro převod znakového jazyka na text s názvem SL2T, což je poprvé, kdy je AI pro znakový jazyk součástí funkce běžného chytrého telefonu. Model pohání diktování ze znakového jazyka do textu v aplikacích Gboard a Live Transcribe na telefonu Pixel 11 a při spuštění podporuje překlad z amerického znakového jazyka do angličtiny.deepmind+1

Tato funkce umožňuje neslyšícím a nedoslýchavým uživatelům znakovat před kamerou telefonu kdekoli, kde by běžně psali text: při vyhledávání na webu, psaní zpráv, dotazování Gemini nebo při osobní konverzaci prostřednictvím Live Transcribe. Google uvádí, že testeři zjistili, že znakování v americkém znakovém jazyce je rychlejší a přirozenější než psaní v angličtině.siliconangle+1

Jak to funguje

Model SL2T byl trénován na více než 100 000 hodinách dat znakování ve více než 50 znakových jazycích, přičemž zhruba čtvrtina dat pochází z amerického znakového jazyka. Místo zpracování surového videa využívá model MediaPipe Holistic, který v zařízení sleduje 130 klíčových bodů na obličeji, těle a rukou znakující osoby a na servery Google odesílá pouze geometrické souřadnice. Původní záznam z kamery je okamžitě smazán.unite+1

Model překládá přímo ze souřadnic pozic do textu, čímž obchází mezikroky známé jako glosy, na které se spoléhaly předchozí systémy. „Glosy nedokážou zachytit bohaté, nelineární aspekty znakových jazyků, jako jsou nemanuální značky a prostorové konstrukce,“ uvedl DeepMind. „Překlad přímo z orientačních bodů odstraňuje umělá omezení slovní zásoby a umožňuje, aby kvalita překladu přímo rostla s množstvím dat.“engadget

V benchmarku FLEURS-ASL dosahuje SL2T skóre 70 BLEURT, což Google popisuje jako výsledek výrazně převyšující jakékoli dříve hlášené hodnoty.deepmind+1

Správa a omezení

Google založil poradní výbor pro AI a znakový jazyk, který sdružuje organizace včetně Národní asociace neslyšících a Světové federace neslyšících. Společně vytvořená zpráva o dopadech definuje SL2T 1.0 jako asistenční nástroj pro situace s nízkým rizikem a výslovně vylučuje použití v lékařských, právních, policejních nebo pracovních kontextech. Zpráva uvádí, že nástroj nesplňuje zákonné povinnosti pro přiměřené úpravy podle zákona o zdravotně postižených.unite

Mezi známá omezení patří snížená přesnost při špatném osvětlení, absence podpory pro více znakujících osob, limit 60 sekund vstupu na klip a absence paměti konverzace mezi klipy. Model nebyl trénován na osobách mladších 18 let.unite

Projekt vznikl díky Samu Sepahovi, neslyšícímu zaměstnanci Googlu, a perspektivy neslyšících formovaly každou fázi od sběru dat až po nasazení. Google plánuje rozšíření na další znakové jazyky a zařízení, přičemž generování znakového jazyka je vedeno jako aktivní výzkum. Funkce je k dispozici bez dalších nákladů.siliconangle+1