Google lance une IA de traduction de la langue des signes sur le Pixel 11

Google Alphabet Inc. ↘ 3.58% DeepMind a présenté aujourd'hui un modèle de traduction de la langue des signes vers le texte appelé SL2T, marquant la première fois qu'une IA de langue des signes est intégrée dans une fonctionnalité de smartphone grand public. Le modèle alimente la dictée de signes vers le texte dans Gboard et Live Transcribe sur le Pixel 11, avec le lancement de la traduction de la langue des signes américaine (ASL) vers l'anglais.deepmind+1

Cette fonctionnalité permet aux utilisateurs sourds et malentendants de signer devant la caméra de leur téléphone partout où ils taperaient normalement du texte : recherche sur le Web, rédaction de messages, interrogation de Gemini ou réponse lors de conversations en face à face via Live Transcribe. Google indique que les testeurs ont trouvé que signer en ASL était plus rapide et plus naturel que de taper en anglais.siliconangle+1

Comment ça marche

SL2T a été entraîné sur plus de 100 000 heures de données de signes couvrant plus de 50 langues des signes, dont environ un quart en ASL. Plutôt que de traiter de la vidéo brute, un modèle embarqué appelé MediaPipe Holistic suit 130 points clés sur le visage, le corps et les mains du signeur, n'envoyant que des coordonnées géométriques aux serveurs de Google. Le flux vidéo original est immédiatement supprimé.unite+1

Le modèle traduit directement les coordonnées de pose en texte, contournant les annotations intermédiaires appelées gloses sur lesquelles reposaient les systèmes précédents. "Les gloses ne parviennent pas à capturer les aspects riches et non linéaires des langues des signes, tels que les marqueurs non manuels et les constructions spatiales", a déclaré DeepMind. "Traduire directement à partir de points de repère supprime les limites artificielles de vocabulaire et permet à la qualité de la traduction d'évoluer directement avec les données".engadget

Sur le benchmark FLEURS-ASL, SL2T atteint un score zero-shot de 70 BLEURT, ce que Google décrit comme bien supérieur à tout résultat rapporté précédemment.deepmind+1

Gouvernance et limites

Google a mis en place le Comité consultatif sur l'IA et la langue des signes, réunissant des organisations telles que la National Association of the Deaf et la Fédération mondiale des sourds. Un rapport d'impact co-rédigé définit SL2T 1.0 comme un outil d'assistance pour les contextes à faible enjeu et exclut explicitement toute utilisation dans des contextes médicaux, juridiques, policiers ou professionnels. Le rapport indique que l'outil ne satisfait pas aux obligations légales d'aménagements raisonnables en vertu de l'Americans with Disabilities Act.unite

Les limites connues incluent une précision dégradée en basse lumière, l'absence de prise en charge de plusieurs signeurs, une limite d'entrée de 60 secondes par clip et l'absence de mémoire de conversation entre les clips. Le modèle n'a pas été entraîné sur des signeurs de moins de 18 ans.unite

Le projet a été initié par Sam Sepah, un employé sourd de Google, et les perspectives des personnes sourdes ont façonné chaque étape, de la collecte de données au déploiement. Google prévoit de s'étendre à d'autres langues des signes et appareils, la génération de langue des signes étant répertoriée comme une recherche active. La fonctionnalité est disponible sans frais supplémentaires.siliconangle+1