Black Forest Labs julkaisi robotiikalle suunnatun Flux 3 -tekoälymallin

Saksalainen tekoälyn tutkimuslaboratorio Black Forest Labs, joka tunnetaan Flux-kuvantuottomalleistaan, julkisti keskiviikkona Flux 3 -multimodaaliperusmallin. Malli oppii samanaikaisesti kuvista, videosta ja äänestä sekä kykenee ennustamaan robottien toimintoja. Julkistus merkitsee yhtiön virallista laajentumista sisällöntuotannosta fyysiseen tekoälyyn.

Yksi malli pikseleille ja boteille

Toisin kuin edeltäjänsä, jotka keskittyivät pelkästään kuvien luomiseen, Flux 3 on koulutettu videon, kuvien ja äänen avulla samanaikaisesti yhtenäisessä arkkitehtuurissa. Yhtiön mukaan realistisen videon luominen pakottaa mallin oppimaan kontaktin, liikkeen, painon ja syy-seuraussuhteen, jotka siirtyvät suoraan robottien ohjaukseen.markets.businessinsider+2

Laajassa koulutusajossa Black Forest Labs lisäsi toimintojen ennustamisen mallin ohjelmaan ja havaitsi vain pienen notkahduksen videon laadussa ennen kuin malli palasi täyteen suorituskykyyn, mikä osoittaa sisällöntuotannon ja robotiikan voivan jakaa saman selkärangan.bfl

"Sisällöntuotanto ja fyysinen tekoäly ovat saman perustan kaksi sovellusta", yhtiö kirjoitti mallia esitelleessä blogikirjoituksessaan.bfl

Flux 3 Video natiivilla äänen tuotannolla ja Flux 3 Action ovat nyt saatavilla ennakkoversiona, ja Flux 3 Image seuraa perässä tulevina viikkoina.bfl+1

Tehdastestausta Audin kanssa

Flux 3 -julkistuksen ohella Black Forest Labs kertoi yhteistyöstä sveitsiläisen, näppärään manipulaatioon erikoistuneen Mimic Robotics -startupin kanssa. Yhdessä ne kehittivät Flux-mimic-mallin, joka rakentuu Flux 3 -selkärangan varaan ja on koulutettu robottidatalla robottien toimintojen ennustamiseen.mimicrobotics+1

Mallia on testattu ja otettu käyttöön Audilla, missä se hoitaa tehtäviä, jotka ovat pitkään vastustaneet perinteistä automaatiota: osien järjestämistä tarjottimille, elektronisten ohjausyksiköiden asentamista ahtaisiin kiinnikkeisiin sekä pehmeiden, joustavien materiaalien kuten tiivisteiden ja kaapelien käsittelyä.bfl

"Olemme nähneet näiden robottien ratkaisevan monimutkaisia pehmeiden kappaleiden käsittelytöitä, jotka olisivat olleet yksinkertaisesti mahdottomia perinteisellä robotiikalla", sanoi Christoph Schneider Audin tuotantolaboratoriosta. "Tällä voi olla suuri vaikutus työntekijöidemme tukemisessa, tehokkuuden lisäämisessä ja joustavan automaation laajentamisessa tuotanto- ja logistiikkatoiminnoissa."bfl

Nopeus ja tehokkuus

Black Forest Labs kertoi Flux-mimic-selkärangan pystyvän siirtymään syötteestä maailman esitykseen alle 80 millisekunnissa yhdellä RTX 5090 -näytönohjaimella, mikä asettaa sen samalle suuruusluokalle ihmisen visuaalisen reaktioajan kanssa. Mimicin käyttöönottoptimisointien ansiosta koko robottijärjestelmä saavuttaa 101 millisekunnin reaktioajat.bfl

Yhtiö aikoo julkaista avoimet painotukset multimodaaliselle selkärangalle sekä sisällöntuotantoa että toimintojen ennustamista varten tulevina kuukausina.bfl