Block dévoile Dessa, une IA vocale entraînée uniquement par la parole

Block, la société de paiement dirigée par Jack Dorsey, a présenté vendredi 23 octobre Dessa, un modèle d'IA voix à voix qui, selon elle, a été entraîné "de zéro uniquement à partir de conversations humaines". D'après la page du projet, aucun texte ni modèle pré-entraîné n'a été utilisé. Block le présente comme "la première IA au monde avec laquelle vous pouvez avoir une conversation réaliste en direct, entraînée uniquement à partir de la parole humaine".theverge.com

La plupart des assistants vocaux convertissent les mots prononcés en texte avant de répondre. Dessa saute cette étape, ce qui place la petite équipe de recherche de Block sur une voie différente de celle des systèmes basés sur le texte qui dominent le marché. Pour l'instant, seul un petit groupe de chercheurs en sécurité de l'IA bénéficie d'un accès anticipé.

Comment fonctionne Dessa

Block affirme que Dessa est full-duplex, ce qui signifie qu'il écoute et parle en même temps. Parce qu'il a appris à partir de conversations réelles, il sait quand intervenir et quand ponctuer l'échange avec de courtes réponses comme "ouais !" ou "d'accord !". Block précise également que l'inférence est plus rapide que le temps réel et que le modèle tourne localement sur un MacBook Pro M4 Max ou supérieur. Le responsable du projet, Ragavan Thurairatnam, a écrit sur X que le modèle peut fonctionner sur des GPU grand public et l'a qualifié de "moment GPT3 pour la voix".x.com+1

Le laboratoire se décrit comme "un (très) petit laboratoire de recherche en IA chez Block, fondé par d'anciens membres de Dessa, la startup de deep learning de Toronto", selon la page du projet.block.xyz

Naturel, parfois maladroit

The Verge a rapporté que les conversations de démonstration peuvent être "un peu maladroites et étranges". Dans un extrait partagé par Thurairatnam, le modèle confond d'abord l'interlocuteur avec quelqu'un nommé "Ronaldo". Dans un autre, une discussion sur les films de Christopher Nolan dérive vers les films Superman de Bryan Singer. Ailleurs, Dessa répond à l'annonce d'un voyage surprise à Paris avec ce que le site appelle une "gratitude larmoyante". Block a également publié une conversation entre Dessa et le modèle vocal GPT-Live-1 d'OpenAI, et The Verge a noté que Dessa semblait être le plus naturel des deux.theverge.com

Block n'a pas publié de chiffres sur la latence, le nombre de paramètres ou la taille de ses données d'entraînement, une lacune soulignée dans une analyse par ic.work.ic.work

Un argument de sécurité

L'équipe donne trois raisons pour la création de Dessa : "la curiosité (le plaisir), une meilleure compréhension entre les humains et l'IA, et la sécurité", a rapporté The Verge. "Les bébés apprennent à parler sans jamais voir un mot écrit. Nous voulions voir si un modèle pouvait le faire aussi. C'est possible. C'est juste très difficile", a écrit l'équipe.theverge.com

L'équipe soutient que l'IA vocale actuelle "aplatit ce que nous disons en texte" et est "presque sourde à l'émotion dans nos voix". Selon leurs termes : "Imaginez que vous souffriez terriblement alors qu'une IA vocale ne s'en rend pas compte et continue simplement à parler. C'est le problème de sécurité. Dessa est un pas vers sa résolution".

Un accès public plus large se fera via une liste d'attente, a rapporté Unite.AI.unite.ai