Black Forest Labs stellt Flux 3 vor, das erste KI-Modell für Robotik

Black Forest Labs, das deutsche KI-Forschungslabor, das für seine Flux-Bilderzeugungsmodelle bekannt ist, hat am Mittwoch Flux 3 angekündigt, ein multimodales Basismodell, das gemeinsam aus Bildern, Videos und Audio lernt und Roboteraktionen vorhersagen kann. Die Einführung markiert die formelle Expansion des Unternehmens von der Inhaltserstellung zur physischen KI.

Ein einziges Modell für Pixel und Roboter

Im Gegensatz zu seinen Vorgängern, die sich ausschließlich auf die Bilderzeugung konzentrierten, wird Flux 3 in einer einheitlichen Architektur gleichzeitig über Video, Bilder und Audio hinweg trainiert. Das Unternehmen argumentiert, dass das Generieren realistischer Videos ein Modell dazu zwingt, Kontakt, Bewegung, Gewicht sowie Ursache und Wirkung zu erlernen, Wissen, das direkt auf die Steuerung von Robotern übertragen wird.markets.businessinsider+2

In einem groß angelegten Trainingslauf fügte Black Forest Labs dem Lehrplan des Modells die Aktionsvorhersage hinzu und beobachtete nur einen kurzen Einbruch der Videogenerierungsqualität, bevor das Modell zur vollen Leistung zurückkehrte, was zeigt, dass Inhaltserstellung und Robotik dasselbe Rückgrat nutzen können.bfl

"Inhaltserstellung und physische KI sind zwei Anwendungen desselben Fundaments", schrieb das Unternehmen in einem Blogbeitrag zur Ankündigung des Modells.bfl

Flux 3 Video mit nativer Audiogenerierung und Flux 3 Action sind ab sofort in einer Vorabversion verfügbar, Flux 3 Image soll in den kommenden Wochen folgen.bfl+1

Praxistests in der Fabrik mit Audi

Parallel zur Ankündigung von Flux 3 gab Black Forest Labs eine Partnerschaft mit Mimic Robotics bekannt, einem Schweizer Startup, das sich auf geschickte Manipulation spezialisiert hat. Gemeinsam entwickelten sie Flux-mimic, ein Video-Aktions-Modell, das auf dem Flux 3-Rückgrat aufbaut und mit Roboterdaten trainiert wurde, um Roboteraktionen vorherzusagen.mimicrobotics+1

Das Modell wurde bei Audi getestet und eingesetzt, wo es Aufgaben bewältigt, die sich herkömmlicher Automatisierung lange widersetzt haben: das Bestücken von Teilen in strukturierte Träger, das Einsetzen elektronischer Steuergeräte in passgenaue Halterungen und die Handhabung weicher, flexibler Materialien wie Dichtungen und Kabel.bfl

"Wir haben gesehen, wie diese Roboter komplexe Arbeiten mit weichen Materialien gelöst haben, die mit herkömmlicher Robotik schlicht unmöglich gewesen wären", sagte Christoph Schneider vom Produktionslabor von Audi. "Dies kann einen großen Einfluss darauf haben, unsere Mitarbeiter zu unterstützen, die Effizienz zu steigern und die flexible Automatisierung in der Produktion und Logistik auszuweiten."bfl

Geschwindigkeit und Effizienz

Black Forest Labs teilte mit, dass das Flux-mimic-Rückgrat auf einer einzigen RTX 5090 GPU in unter 80 Millisekunden von der Eingabe zur Weltrepräsentation laufen kann, womit es in der gleichen Größenordnung wie die menschliche visuelle Reaktionszeit liegt. Mit den Implementierungsoptimierungen von Mimic erreicht das gesamte Robotersystem Reaktionszeiten von 101 Millisekunden.bfl

Das Unternehmen plant, in den kommenden Monaten einen offenen Zugang mit offenen Gewichten zu einem multimodalen Rückgrat für sowohl die Inhaltserstellung als auch die Aktionsvorhersage zu veröffentlichen.bfl