Black Forest Labs pristatė pirmuosius robotikai skirtus AI modelius

Vokietijos dirbtinio intelekto tyrimų laboratorija „Black Forest Labs“, išgarsėjusi savo vaizdų generavimo modeliais „Flux“, trečiadienį paskelbė apie „Flux 3“ – multimodalinį pamatinį modelį, kuris vienu metu mokosi iš nuotraukų, vaizdo įrašų bei garso ir gali numatyti robotų veiksmus. Šis pristatymas žymi oficialią bendrovės plėtrą iš turinio kūrimo į fizinį dirbtinį intelektą.

Vienas modelis pikseliams ir robotams

Skirtingai nuo ankstesnių versijų, kurios telkėsi tik į vaizdų generavimą, „Flux 3“ yra treniruojamas su vaizdo įrašais, nuotraukomis ir garsu vieningoje architektūroje. Bendrovė teigia, kad tikroviško vaizdo įrašo generavimas priverčia modelį išmokti kontaktą, judesį, svorį ir priežasties bei pasekmės ryšį, o šios žinios tiesiogiai pasitarnauja robotų valdymui.markets.businessinsider+2

Atlikdami didelio masto treniravimo ciklą, „Black Forest Labs“ į modelio programą įtraukė veiksmų prognozavimą ir pastebėjo tik trumpą vaizdo įrašų generavimo kokybės kritimą, po kurio modelis vėl pasiekė maksimalų našumą. Tai įrodo, kad turinio kūrimas ir robotika gali dalintis ta pačia bazine sistema.bfl

„Turinio kūrimas ir fizinis dirbtinis intelektas yra dvi to paties pamatų taikymo sritys“, – rašė bendrovė savo tinklaraščio įraše, kuriame paskelbė apie modelį.bfl

„Flux 3 Video“ su gimtąja garso generavimo funkcija ir „Flux 3 Action“ jau prieinami ankstyvosios prieigos režimu, o „Flux 3 Image“ pasirodys artimiausiomis savaitėmis.bfl+1

Bandymai gamykloje su „Audi“

Kartu su „Flux 3“ pristatymu, „Black Forest Labs“ atskleidė partnerystę su Šveicarijos startupu „Mimic Robotics“, besispecializuojančiu vikriame manipuliavime. Kartu jie sukūrė „Flux-mimic“ – vaizdo ir veiksmų modelį, sukurtą ant „Flux 3“ pagrindo ir treniruotą su robotų duomenimis veiksmams numatyti.mimicrobotics+1

Modelis buvo išbandytas ir įdiegtas „Audi“ gamyklose, kur jis atlieka užduotis, ilgą laiką priešinusias įprastinei automatizacijai: dalių rūšiavimą į struktūrizuotus padėklus, elektroninių valdymo blokų įstatymą į ankštus lizdus bei darbą su minkštomis, lanksčiomis medžiagomis, tokiomis kaip tarpikliai ir kabeliai.bfl

„Mes matėme, kaip šie robotai išsprendė sudėtingą lanksčių detalių manipuliavimą, kuris būtų buvęs tiesiog neįmanomas naudojant įprastą robotiką“, – sakė Christoph Schneider iš „Audi“ gamybos laboratorijos. „Tai gali turėti didžiulę įtaką padedant mūsų darbuotojams, didinant efektyvumą ir plečiant lanksčią automatizaciją gamybos bei logistikos operacijose.“bfl

Greitis ir efektyvumas

„Black Forest Labs“ teigė, kad „Flux-mimic“ pagrindas gali apdoroti duomenis nuo įvesties iki pasaulio vaizdavimo per mažiau nei 80 milisekundžių, naudojant vieną „RTX 5090“ vaizdo plokštę. Tai prilygsta žmogaus regos reakcijos laikui. Pritaikius „Mimic“ optimizavimus, visa robotų sistema pasiekia 101 milisekundės reakcijos laiką.bfl

Bendrovė planuoja ateinančiais mėnesiais suteikti atvirą prieigą prie multimodalinio pagrindo tiek turinio kūrimui, tiek veiksmų prognozavimui.bfl