Google lanza IA de traducción de lengua de señas en el Pixel 11

Google Alphabet Inc. ↗ 0.46% DeepMind presentó hoy un modelo de traducción de lengua de señas a texto llamado SL2T, marcando la primera vez que una IA de este tipo se integra en una función de un smartphone comercial. El modelo potencia el dictado de señas a texto en Gboard y Live Transcribe en el Pixel 11, lanzándose con traducción de Lengua de Señas Americana (ASL) a inglés.deepmind+1

La función permite a los usuarios sordos o con dificultades auditivas usar la cámara de su teléfono en cualquier lugar donde normalmente escribirían: buscar en la web, redactar mensajes, consultar a Gemini o responder en conversaciones cara a cara mediante Live Transcribe. Google afirma que los evaluadores encontraron que signar en ASL es más rápido y natural que escribir en inglés.siliconangle+1

Cómo funciona

SL2T fue entrenado con más de 100,000 horas de datos de señas que abarcan más de 50 lenguas, con aproximadamente una cuarta parte en ASL. En lugar de procesar video sin procesar, un modelo en el dispositivo llamado MediaPipe Holistic rastrea 130 puntos clave en la cara, el cuerpo y las manos del usuario, enviando solo coordenadas geométricas a los servidores de Google. La señal de video original se descarta de inmediato.unite+1

El modelo traduce directamente de coordenadas de pose a texto, evitando las anotaciones intermedias conocidas como glosas de las que dependían sistemas anteriores. "Las glosas no logran capturar aspectos ricos y no lineales de las lenguas de señas, como los marcadores no manuales y las construcciones espaciales", señaló DeepMind. "Traducir directamente desde puntos de referencia elimina los límites artificiales de vocabulario y permite que la calidad de la traducción escale directamente con los datos".engadget

En el benchmark FLEURS-ASL, SL2T logra una puntuación zero-shot de 70 BLEURT, lo que Google describe como muy superior a cualquier resultado reportado anteriormente.deepmind+1

Gobernanza y limitaciones

Google estableció el Comité Asesor de IA para Lengua de Señas, reuniendo a organizaciones como la Asociación Nacional de Personas Sordas y la Federación Mundial de Sordos. Un informe de impacto redactado en conjunto define a SL2T 1.0 como una herramienta de asistencia para entornos de bajo riesgo y excluye explícitamente su uso en contextos médicos, legales, policiales o laborales. El informe establece que la herramienta no satisface las obligaciones legales de adaptaciones razonables bajo la Ley de Estadounidenses con Discapacidades.unite

Las limitaciones conocidas incluyen una precisión reducida en condiciones de poca luz, falta de soporte para múltiples signantes, un límite de entrada de 60 segundos por clip y ausencia de memoria de conversación entre clips. El modelo no fue entrenado con signantes menores de 18 años.unite

El proyecto se originó con Sam Sepah, un empleado sordo de Google, y las perspectivas de la comunidad sorda dieron forma a cada etapa, desde la recopilación de datos hasta la implementación. Google planea expandirse a más lenguas de señas y dispositivos, con la generación de lengua de señas listada como investigación activa. La función está disponible sin costo adicional.siliconangle+1