Google, Pixel 11 ile işaret dilini metne çeviren yapay zekayı tanıttı

Google Alphabet Inc. ↘ 3.58% DeepMind bugün, işaret dilini metne dönüştüren SL2T adlı modeli tanıttı. Bu, bir işaret dili yapay zekasının ilk kez bir tüketici akıllı telefon özelliğine entegre edilmesi anlamına geliyor. Model, Pixel 11 üzerinde Gboard ve Live Transcribe içinde işaret dilinden metne dikte özelliğini destekliyor ve Amerikan İşaret Dili'nden İngilizceye çeviri ile başlıyor.deepmind+1

Bu özellik, işitme engelli kullanıcıların telefon kamerasını normalde yazı yazacakları her yerde kullanmalarına olanak tanıyor; web araması, mesaj taslağı oluşturma, Gemini'ye soru sorma veya Live Transcribe aracılığıyla yüz yüze konuşmalara yanıt verme gibi. Google, test kullanıcılarının işaret diliyle iletişim kurmanın İngilizce yazmaktan daha hızlı ve doğal olduğunu belirttiğini ifade ediyor.siliconangle+1

Nasıl Çalışıyor

SL2T, yaklaşık dörtte biri Amerikan İşaret Dili olmak üzere 50'den fazla işaret dilini kapsayan 100.000 saatin üzerinde işaret dili verisiyle eğitildi. Ham video işlemek yerine, cihaz üzerindeki MediaPipe Holistic adlı model, kullanıcının yüzündeki, vücudundaki ve ellerindeki 130 anahtar noktayı takip ederek Google sunucularına yalnızca geometrik koordinatları gönderiyor. Orijinal kamera görüntüsü anında siliniyor.unite+1

Model, önceki sistemlerin dayandığı ara açıklamaları (gloss) atlayarak doğrudan poz koordinatlarından metne çeviri yapıyor. DeepMind, "Gloss'lar, işaret dilinin manuel olmayan işaretler ve uzamsal yapılar gibi zengin, doğrusal olmayan yönlerini yakalamakta yetersiz kalıyor" dedi. "Doğrudan işaretlerden çeviri yapmak, yapay kelime sınırlarını kaldırıyor ve çeviri kalitesinin verilerle doğrudan ölçeklenmesini sağlıyor."engadget

FLEURS-ASL benchmark testinde SL2T, Google'ın daha önce bildirilen tüm sonuçların üzerinde olduğunu belirttiği 70 BLEURT puanına ulaştı.deepmind+1

Yönetişim ve Sınırlamalar

Google, Ulusal İşitme Engelliler Derneği ve Dünya İşitme Engelliler Federasyonu gibi kuruluşları bir araya getiren bir AI İşaret Dili Danışma Kurulu oluşturdu. Ortak hazırlanan etki raporu, SL2T 1.0'ı düşük riskli ortamlar için yardımcı bir araç olarak tanımlıyor ve tıbbi, hukuki, polis veya istihdam bağlamlarında kullanımını açıkça yasaklıyor. Rapor, aracın Engelli Bireyler Yasası kapsamındaki makul düzenlemeler için yasal yükümlülükleri karşılamadığını belirtiyor.unite

Bilinen sınırlamalar arasında düşük ışıkta azalan doğruluk, birden fazla işaret dili kullanıcısı desteğinin olmaması, klip başına 60 saniyelik giriş sınırı ve klipler arasında konuşma hafızasının bulunmaması yer alıyor. Model, 18 yaş altı kullanıcıların verileriyle eğitilmedi.unite

Proje, işitme engelli bir Google çalışanı olan Sam Sepah ile başladı ve işitme engellilerin bakış açıları, veri toplamadan dağıtıma kadar her aşamayı şekillendirdi. Google, ek işaret dillerine ve cihazlara genişlemeyi planlıyor; işaret dili üretimi ise aktif bir araştırma konusu olarak listeleniyor. Özellik, ek bir ücret olmaksızın kullanıma sunuldu.siliconangle+1