Black Forest Labs lanserer Flux 3, sin første KI-modell for robotikk

Black Forest Labs, det tyske KI-forskningslaboratoriet kjent for sine Flux-bildegenereringsmodeller, kunngjorde på onsdag Flux 3, en multimodal grunnmodell som lærer i fellesskap fra bilder, video og lyd, og som kan forutsi robothandlinger. Lanseringen markerer selskapets formelle ekspansjon fra innholdsskaping til fysisk KI.

En enkelt modell for piksler og roboter

I motsetning til forgjengerne, som utelukkende fokuserte på bildegenerering, er Flux 3 trent på tvers av video, bilder og lyd samtidig innenfor en enhetlig arkitektur. Selskapet hevder at generering av realistisk video tvinger en modell til å lære kontakt, bevegelse, vekt og årsak og virkning, kunnskap som overføres direkte til å kontrollere roboter.markets.businessinsider+2

I en storskala treningsrunde la Black Forest Labs til handlingsprediksjon i modellens pensum og observerte bare en kort nedgang i videogenereringskvaliteten før modellen returnerte til full ytelse, noe som viser at innholdsskaping og robotikk kan dele den samme stammen.bfl

"Innholdsskaping og fysisk KI er to applikasjoner av samme fundament," skrev selskapet i et blogginnlegg som annonserte modellen.bfl

Flux 3 Video med innebygd lydgenerering og Flux 3 Action er nå tilgjengelig i tidlig tilgang, med Flux 3 Image som følger etter i de kommende ukene.bfl+1

Testing på gulvet hos Audi

Sammen med kunngjøringen av Flux 3 avslørte Black Forest Labs et samarbeid med Mimic Robotics, en sveitsisk oppstartsselskap som spesialiserer seg på fingerferdige manipulasjoner. Sammen utviklet de Flux-mimic, en video-handlingsmodell bygget på Flux 3-stammen og trent på robotdata for å forutsi robothandlinger.mimicrobotics+1

Modellen har blitt testet og tatt i bruk hos Audi, hvor den håndterer oppgaver som lenge har motstått konvensjonell automatisering: å samle deler i strukturerte brett, sette inn elektroniske styreenheter i tettsittende fester og manipulere myke, fleksible materialer som tetninger og kabler.bfl

"Vi har sett disse robotene løse komplekst arbeid med myke materialer som rett og slett ville ha vært umulig med konvensjonell robotikk," sa Christoph Schneider fra Audis produksjonslaboratorium. "Dette kan ha en stor innvirkning på å hjelpe våre ansatte, øke effektiviteten og utvide fleksibel automatisering på tvers av produksjons- og logistikkoperasjoner."bfl

Hastighet og effektivitet

Black Forest Labs sa at Flux-mimic-stammen kan kjøre fra inndata til verdensrepresentasjon på under 80 millisekunder på en enkelt RTX 5090 GPU, noe som plasserer den på samme størrelsesorden som menneskelig visuell reaksjonstid. Med Mimics implementeringsoptimaliseringer oppnår hele robotsystemet reaksjonstider på 101 millisekunder.bfl

Selskapet planlegger å frigi åpen vekt-tilgang til en multimodal stamme for både innholdsskaping og handlingsprediksjon i månedene som kommer.bfl