Google-ը Pixel 11-ում գործարկել է ժեստերի լեզուն տեքստի վերածող AI

Google Alphabet Inc. ↗ 0.46% DeepMind-ն այսօր ներկայացրել է SL2T անունով ժեստերի լեզուն տեքստի վերածող մոդել, ինչը նշանավորում է առաջին դեպքը, երբ ժեստերի լեզվի AI-ն ներառվել է սպառողական սմարթֆոնի գործառույթում: Մոդելը ապահովում է ժեստերի թելադրում Gboard-ում և Live Transcribe-ում Pixel 11-ի վրա՝ մեկնարկելով ամերիկյան ժեստերի լեզվից անգլերեն թարգմանությամբ:deepmind+1

Այս գործառույթը թույլ է տալիս խուլ և լսողության խնդիրներ ունեցող օգտատերերին ժեստերով շփվել հեռախոսի տեսախցիկի միջոցով ցանկացած վայրում, որտեղ նրանք սովորաբար կմուտքագրեին տեքստ՝ վեբ որոնում, հաղորդագրությունների կազմում, Gemini-ին հարցումներ կամ դեմ առ դեմ զրույցներ Live Transcribe-ի միջոցով: Google-ը նշում է, որ փորձարկողները պարզել են, որ ժեստերով շփումն ավելի արագ և բնական է, քան անգլերեն մուտքագրումը:siliconangle+1

Ինչպես է այն աշխատում

SL2T-ը վարժեցվել է ավելի քան 100,000 ժամ տևողությամբ ժեստերի տվյալների վրա՝ ընդգրկելով 50-ից ավելի ժեստերի լեզուներ, որոնց մոտ մեկ քառորդը ամերիկյան ժեստերի լեզվով է: Հում տեսանյութը մշակելու փոխարեն, սարքի ներսում գործող MediaPipe Holistic մոդելը հետևում է դեմքի, մարմնի և ձեռքերի 130 հիմնական կետերին՝ Google-ի սերվերներ ուղարկելով միայն երկրաչափական կոորդինատները: Տեսախցիկի օրիգինալ հոսքը անմիջապես ջնջվում է:unite+1

Մոդելը թարգմանում է անմիջապես դիրքային կոորդինատներից տեքստի՝ շրջանցելով միջանկյալ անոտացիաները, որոնց վրա հիմնվում էին նախորդ համակարգերը: DeepMind-ը նշել է, որ նախկին համակարգերը չէին կարողանում ֆիքսել ժեստերի լեզվի հարուստ, ոչ գծային ասպեկտները, ինչպիսիք են ոչ ձեռքային նշանները և տարածական կառուցվածքները: Ուղղակի թարգմանությունը վերացնում է բառապաշարի արհեստական սահմանափակումները և թույլ է տալիս թարգմանության որակը մասշտաբավորել տվյալների հետ:engadget

FLEURS-ASL չափանիշով SL2T-ը հասել է 70 BLEURT միավորի, ինչը Google-ը նկարագրում է որպես նախկինում հաղորդված ցանկացած արդյունքից զգալիորեն բարձր:deepmind+1

Կառավարում և սահմանափակումներ

Google-ը ստեղծել է AI ժեստերի լեզվի խորհրդատվական հանձնաժողով՝ համախմբելով կազմակերպություններ, այդ թվում՝ Խուլերի ազգային ասոցիացիան և Խուլերի համաշխարհային ֆեդերացիան: Համատեղ հեղինակած ազդեցության զեկույցը SL2T 1.0-ը սահմանում է որպես օժանդակ գործիք ոչ պատասխանատու իրավիճակների համար և բացահայտորեն բացառում է դրա օգտագործումը բժշկական, իրավական, ոստիկանական կամ զբաղվածության համատեքստերում: Զեկույցում նշվում է, որ գործիքը չի բավարարում հաշմանդամություն ունեցող անձանց մասին օրենքով սահմանված ողջամիտ հարմարեցումների իրավական պարտավորությունները:unite

Հայտնի սահմանափակումները ներառում են ցածր լուսավորության դեպքում ճշգրտության նվազումը, բազմաթիվ ժեստեր անողների աջակցության բացակայությունը, 60-վայրկյանանոց մուտքային սահմանաչափը յուրաքանչյուր հոլովակի համար և հոլովակների միջև զրույցի հիշողության բացակայությունը: Մոդելը չի վարժեցվել 18 տարեկանից ցածր անձանց տվյալներով:unite

Ծրագիրը սկիզբ է առել Google-ի խուլ աշխատակից Սեմ Սեպահից, և խուլերի տեսակետները ձևավորել են գործընթացի յուրաքանչյուր փուլ՝ տվյալների հավաքագրումից մինչև ներդրում: Google-ը նախատեսում է ընդլայնվել դեպի լրացուցիչ ժեստերի լեզուներ և սարքեր, իսկ ժեստերի լեզվի գեներացումը նշված է որպես ակտիվ հետազոտություն: Գործառույթը հասանելի է առանց լրացուցիչ վճարի:siliconangle+1