Black Forest Labs lance Flux 3, son premier modèle d’IA pour la robotique

Black Forest Labs, le laboratoire de recherche allemand en IA connu pour ses modèles de génération d'images Flux, a annoncé mercredi Flux 3, un modèle de fondation multimodal qui apprend conjointement à partir d'images, de vidéos et d'audio, et peut prédire des actions robotiques. Ce lancement marque l'expansion officielle de l'entreprise de la création de contenu vers l'IA physique.

Un seul modèle pour les pixels et les robots

Contrairement à ses prédécesseurs, qui se concentraient uniquement sur la génération d'images, Flux 3 est entraîné sur la vidéo, les images et l'audio simultanément au sein d'une architecture unifiée. L'entreprise soutient que la génération de vidéos réalistes force un modèle à apprendre le contact, le mouvement, le poids et la relation de cause à effet, des connaissances qui se transfèrent directement au contrôle des robots.markets.businessinsider+2

Lors d'un entraînement à grande échelle, Black Forest Labs a ajouté la prédiction d'actions au programme du modèle et n'a observé qu'une brève baisse de la qualité de génération vidéo avant que le modèle ne retrouve ses performances maximales, démontrant que la création de contenu et la robotique peuvent partager la même ossature.bfl

"La création de contenu et l'IA physique sont deux applications de la même fondation", a écrit l'entreprise dans un article de blog annonçant le modèle.bfl

Flux 3 Video avec génération audio native et Flux 3 Action sont désormais disponibles en accès anticipé, et Flux 3 Image suivra dans les semaines à venir.bfl+1

Tests en usine avec Audi

Parallèlement à l'annonce de Flux 3, Black Forest Labs a révélé un partenariat avec Mimic Robotics, une startup suisse spécialisée dans la manipulation agile. Ensemble, ils ont développé Flux-mimic, un modèle vidéo-action construit sur l'ossature de Flux 3 et entraîné sur des données de robots pour prédire les actions de ces derniers.mimicrobotics+1

Le modèle a été testé et déployé chez Audi, où il gère des tâches qui ont longtemps résisté à l'automatisation conventionnelle: assembler des pièces dans des plateaux structurés, insérer des unités de commande électronique dans des fixations serrées et manipuler des matériaux mous et flexibles comme des joints et des câbles.bfl

"Nous avons vu ces robots résoudre des travaux complexes de manipulation de corps mous qui auraient été tout simplement impossibles avec la robotique conventionnelle", a déclaré Christoph Schneider du laboratoire de production d'Audi. "Cela peut avoir un impact majeur pour assister nos employés, augmenter l'efficacité et étendre l'automatisation flexible dans les opérations de production et de logistique."bfl

Vitesse et efficacité

Black Forest Labs a indiqué que l'ossature de Flux-mimic peut passer de l'entrée à la représentation du monde en moins de 80 millisecondes sur un seul GPU RTX 5090, ce qui la place dans le même ordre de grandeur que le temps de réaction visuelle humaine. Grâce aux optimisations de déploiement de Mimic, le système robotique complet atteint des temps de réaction de 101 millisecondes.bfl

L'entreprise prévoit de publier un accès à poids ouverts à une ossature multimodale pour la création de contenu et la prédiction d'actions dans les mois à venir.bfl