Google-მა Pixel 11-ზე ჟესტების ენის ტექსტად გარდამქმნელი AI წარადგინა

Google Alphabet Inc. ↗ 0.46% DeepMind-მა დღეს წარადგინა ჟესტების ენის ტექსტად გარდამქმნელი მოდელი SL2T, რაც პირველი შემთხვევაა, როდესაც ჟესტების ენის AI სმარტფონის ფუნქციაშია ინტეგრირებული. მოდელი უზრუნველყოფს ჟესტების ტექსტად გარდაქმნას Gboard-სა და Live Transcribe-ში Pixel 11-ზე, ამერიკული ჟესტების ენიდან ინგლისურზე თარგმნის მხარდაჭერით.deepmind+1

ეს ფუნქცია საშუალებას აძლევს ყრუ და სმენადაქვეითებულ მომხმარებლებს, გამოიყენონ ტელეფონის კამერა ნებისმიერ ადგილას, სადაც ჩვეულებრივ ბეჭდავენ, იქნება ეს ვებ-ძიება, შეტყობინებების წერა, Gemini-სთვის კითხვის დასმა თუ პირისპირ საუბარი Live Transcribe-ის მეშვეობით. Google-ის თქმით, ტესტირების მონაწილეებმა აღნიშნეს, რომ ჟესტებით კომუნიკაცია უფრო სწრაფი და ბუნებრივია, ვიდრე ინგლისურად ბეჭდვა.siliconangle+1

როგორ მუშაობს ეს

SL2T გაიწვრთნა 100 000 საათზე მეტი ჟესტების მონაცემებით, რომელიც მოიცავს 50-ზე მეტ ჟესტების ენას, საიდანაც დაახლოებით მეოთხედი ამერიკული ჟესტების ენაა. ნედლი ვიდეოს დამუშავების ნაცვლად, მოწყობილობაში არსებული მოდელი MediaPipe Holistic აკვირდება სახის, სხეულისა და ხელების 130 საკვანძო წერტილს და Google-ის სერვერებზე მხოლოდ გეომეტრიულ კოორდინატებს აგზავნის. კამერის ორიგინალი ჩანაწერი დაუყოვნებლივ იშლება.unite+1

მოდელი პირდაპირ გარდაქმნის პოზის კოორდინატებს ტექსტად, შუალედური ანოტაციების გარეშე, რომლებსაც წინა სისტემები ეყრდნობოდა. DeepMind-ის განცხადებით, წინა სისტემები ვერ იჭერდა ჟესტების ენის ისეთ რთულ ასპექტებს, როგორიცაა არამანუალური მარკერები და სივრცითი კონსტრუქციები. პირდაპირი თარგმნა ხსნის ლექსიკურ შეზღუდვებს და აუმჯობესებს თარგმანის ხარისხს.engadget

FLEURS-ASL-ის შეფასებისას, SL2T-მა მიაღწია 70 BLEURT-ის მაჩვენებელს, რაც Google-ის თქმით, ბევრად აღემატება ნებისმიერ აქამდე ცნობილ შედეგს.deepmind+1

მმართველობა და შეზღუდვები

Google-მა შექმნა AI ჟესტების ენის მრჩეველთა კომიტეტი, რომელშიც გაერთიანდნენ ისეთი ორგანიზაციები, როგორიცაა ყრუთა ეროვნული ასოციაცია და ყრუთა მსოფლიო ფედერაცია. ერთობლივად შემუშავებულ ანგარიშში SL2T 1.0 განსაზღვრულია როგორც დამხმარე ინსტრუმენტი დაბალი რისკის გარემოსთვის და კატეგორიულად გამორიცხავს მის გამოყენებას სამედიცინო, იურიდიულ, პოლიციურ ან დასაქმების კონტექსტში. ანგარიშში აღნიშნულია, რომ ინსტრუმენტი არ აკმაყოფილებს შეზღუდული შესაძლებლობის მქონე პირთა შესახებ კანონით გათვალისწინებულ იურიდიულ ვალდებულებებს.unite

ცნობილი შეზღუდვები მოიცავს სიზუსტის შემცირებას დაბალი განათების პირობებში, მრავალი მომხმარებლის ერთდროულად მხარდაჭერის არარსებობას, 60-წამიან ლიმიტს თითო კლიპზე და საუბრის მეხსიერების არქონას კლიპებს შორის. მოდელი არ გაუწვრთნიათ 18 წლამდე ასაკის პირების მონაცემებით.unite

პროექტი დაიწყო სემ სეპამ, ყრუ Google-ის თანამშრომელმა და ყრუთა პერსპექტივებმა განსაზღვრა პროცესის ყველა ეტაპი. Google გეგმავს გაფართოებას სხვა ჟესტების ენებზე და მოწყობილობებზე, ხოლო ჟესტების ენის გენერირება აქტიური კვლევის საგანია. ფუნქცია ხელმისაწვდომია დამატებითი საფასურის გარეშე.siliconangle+1