Η Google λανσάρει AI για μετατροπή νοηματικής σε κείμενο στο Pixel 11

Η Google Alphabet Inc. ↗ 0.46% DeepMind παρουσίασε σήμερα ένα μοντέλο μετατροπής νοηματικής γλώσσας σε κείμενο με την ονομασία SL2T, σηματοδοτώντας την πρώτη φορά που η τεχνητή νοημοσύνη για τη νοηματική γλώσσα ενσωματώνεται σε λειτουργία καταναλωτικού smartphone. Το μοντέλο τροφοδοτεί την υπαγόρευση από νοηματική σε κείμενο στο Gboard και στο Live Transcribe του Pixel 11, ξεκινώντας με τη μετάφραση από την Αμερικανική Νοηματική Γλώσσα στα Αγγλικά.deepmind+1

Η λειτουργία επιτρέπει στους κωφούς και βαρήκοους χρήστες να χρησιμοποιούν τη νοηματική γλώσσα μέσω της κάμερας του τηλεφώνου τους οπουδήποτε θα πληκτρολογούσαν κανονικά, όπως στην αναζήτηση στο διαδίκτυο, στη σύνταξη μηνυμάτων, σε ερωτήματα προς το Gemini ή σε δια ζώσης συνομιλίες μέσω του Live Transcribe. Η Google αναφέρει ότι οι δοκιμαστές διαπίστωσαν πως η χρήση της νοηματικής είναι ταχύτερη και πιο φυσική από την πληκτρολόγηση στα Αγγλικά.siliconangle+1

Πώς λειτουργεί

Το SL2T εκπαιδεύτηκε σε περισσότερες από 100.000 ώρες δεδομένων νοηματικής από πάνω από 50 νοηματικές γλώσσες, με περίπου το ένα τέταρτο να αφορά την Αμερικανική Νοηματική Γλώσσα. Αντί για την επεξεργασία ακατέργαστου βίντεο, ένα μοντέλο στη συσκευή που ονομάζεται MediaPipe Holistic εντοπίζει 130 βασικά σημεία στο πρόσωπο, το σώμα και τα χέρια του χρήστη, στέλνοντας μόνο γεωμετρικές συντεταγμένες στους διακομιστές της Google. Το αρχικό υλικό της κάμερας διαγράφεται αμέσως.unite+1

Το μοντέλο μεταφράζει απευθείας από τις συντεταγμένες κίνησης σε κείμενο, παρακάμπτοντας ενδιάμεσες σημειώσεις γνωστές ως glosses, στις οποίες βασίζονταν προηγούμενα συστήματα. "Τα glosses αποτυγχάνουν να συλλάβουν πλούσιες, μη γραμμικές πτυχές των νοηματικών γλωσσών, όπως οι μη χειροκίνητοι δείκτες και οι χωρικές κατασκευές", δήλωσε η DeepMind. "Η απευθείας μετάφραση από σημεία αναφοράς καταργεί τους τεχνητούς περιορισμούς λεξιλογίου και επιτρέπει στην ποιότητα της μετάφρασης να κλιμακώνεται άμεσα με τα δεδομένα".engadget

Στο benchmark FLEURS-ASL, το SL2T επιτυγχάνει σκορ zero-shot 70 BLEURT, το οποίο η Google περιγράφει ως πολύ υψηλότερο από οποιοδήποτε προηγούμενο αποτέλεσμα.deepmind+1

Διακυβέρνηση και περιορισμοί

Η Google ίδρυσε τη Συμβουλευτική Επιτροπή Τεχνητής Νοημοσύνης για τη Νοηματική Γλώσσα, συγκεντρώνοντας οργανώσεις όπως η Εθνική Ένωση Κωφών και η Παγκόσμια Ομοσπονδία Κωφών. Μια έκθεση αντικτύπου που συντάχθηκε από κοινού ορίζει το SL2T 1.0 ως ένα υποστηρικτικό εργαλείο για περιβάλλοντα χαμηλού ρίσκου και αποκλείει ρητά τη χρήση του σε ιατρικά, νομικά, αστυνομικά ή εργασιακά πλαίσια. Η έκθεση αναφέρει ότι το εργαλείο δεν ικανοποιεί τις νομικές υποχρεώσεις για εύλογες προσαρμογές βάσει του νόμου περί Αμερικανών με Αναπηρίες.unite

Οι γνωστοί περιορισμοί περιλαμβάνουν μειωμένη ακρίβεια σε χαμηλό φωτισμό, έλλειψη υποστήριξης για πολλούς χρήστες ταυτόχρονα, όριο εισόδου 60 δευτερολέπτων ανά κλιπ και έλλειψη μνήμης συνομιλίας μεταξύ των κλιπ. Το μοντέλο δεν εκπαιδεύτηκε σε χρήστες κάτω των 18 ετών.unite

Το έργο ξεκίνησε με τον Sam Sepah, έναν κωφό υπάλληλο της Google, και οι απόψεις της κοινότητας των κωφών διαμόρφωσαν κάθε στάδιο, από τη συλλογή δεδομένων έως την ανάπτυξη. Η Google σχεδιάζει να επεκταθεί σε επιπλέον νοηματικές γλώσσες και συσκευές, ενώ η παραγωγή νοηματικής γλώσσας αποτελεί ενεργό τομέα έρευνας. Η λειτουργία διατίθεται χωρίς επιπλέον κόστος.siliconangle+1