Google startet KI für Gebärdensprache auf dem Pixel 11

Google Alphabet Inc. ↘ 3.58% DeepMind hat heute ein Gebärdensprache-zu-Text-Modell namens SL2T vorgestellt. Damit ist erstmals eine KI für Gebärdensprache direkt als Smartphone-Funktion verfügbar. Das Modell ermöglicht die Diktierfunktion von Gebärdensprache in Gboard und Live Transcribe auf dem Pixel 11 und startet mit der Übersetzung von amerikanischer Gebärdensprache (ASL) ins Englische.deepmind+1

Die Funktion ermöglicht es gehörlosen und schwerhörigen Nutzern, vor der Kamera ihres Smartphones zu gebärden, wo sie normalerweise tippen würden – sei es bei der Websuche, beim Verfassen von Nachrichten, bei Anfragen an Gemini oder bei persönlichen Gesprächen über Live Transcribe. Laut Google empfanden Testpersonen das Gebärden in ASL als schneller und natürlicher als das Tippen auf Englisch.siliconangle+1

Funktionsweise

SL2T wurde mit über 100.000 Stunden Gebärdensprachdaten aus mehr als 50 Sprachen trainiert, wobei etwa ein Viertel auf ASL entfällt. Anstatt Rohvideos zu verarbeiten, verfolgt ein geräteinternes Modell namens MediaPipe Holistic 130 Schlüsselpunkte an Gesicht, Körper und Händen des Nutzers und sendet nur geometrische Koordinaten an die Server von Google. Der ursprüngliche Kamerastream wird sofort verworfen.unite+1

Das Modell übersetzt direkt von den Koordinaten in Text und umgeht so Zwischenannotationen, sogenannte Glosses, auf die frühere Systeme angewiesen waren. "Glosses erfassen die komplexen, nicht-linearen Aspekte von Gebärdensprachen, wie nicht-manuelle Marker und räumliche Konstruktionen, nur unzureichend", so DeepMind. "Die direkte Übersetzung von Orientierungspunkten entfernt künstliche Vokabelgrenzen und ermöglicht es, die Übersetzungsqualität direkt mit der Datenmenge zu skalieren."engadget

Beim FLEURS-ASL-Benchmark erreicht SL2T einen Zero-Shot-Wert von 70 BLEURT, was Google als deutlich über allen bisher berichteten Ergebnissen beschreibt.deepmind+1

Governance und Einschränkungen

Google hat das AI Sign Language Advisory Committee ins Leben gerufen, das Organisationen wie die National Association of the Deaf und die World Federation of the Deaf zusammenbringt. Ein gemeinsam verfasster Wirkungsbericht definiert SL2T 1.0 als Hilfsmittel für risikoarme Umgebungen und schließt die Verwendung in medizinischen, rechtlichen, polizeilichen oder beruflichen Kontexten ausdrücklich aus. Der Bericht stellt fest, dass das Tool keine rechtlichen Verpflichtungen für angemessene Vorkehrungen gemäß dem Americans with Disabilities Act erfüllt.unite

Zu den bekannten Einschränkungen gehören eine verringerte Genauigkeit bei schlechten Lichtverhältnissen, keine Unterstützung für mehrere Gebärdende gleichzeitig, eine Begrenzung auf 60 Sekunden pro Clip und kein Gesprächsgedächtnis über Clips hinweg. Das Modell wurde nicht mit Gebärdenden unter 18 Jahren trainiert.unite

Das Projekt wurde von Sam Sepah, einem gehörlosen Google-Mitarbeiter, initiiert, und Perspektiven von Gehörlosen prägten jede Phase von der Datenerhebung bis zur Bereitstellung. Google plant die Ausweitung auf weitere Gebärdensprachen und Geräte; die Generierung von Gebärdensprache ist als aktives Forschungsfeld gelistet. Die Funktion ist ohne zusätzliche Kosten verfügbar.siliconangle+1