Nvidia lanserer GR00T 2 for å lære roboter finmotoriske oppgaver

NVIDIA ↘ 4.30% benyttet åpningsdagen av Conference on Robot Learning (CoRL) i Austin, Texas, mandag 9. november, til å introdusere GR00T 2, en åpen "verdenshandlingsmodell" for robotmanipulasjon, sammen med nye simuleringsverktøy og ytelsestester, opplyser selskapet. Forskere ved UC Berkeley, som samarbeider med NVIDIA, presenterte også "agentbasert robotikk". Dette er en tilnærming der AI-agenter skriver kontrollprogrammer for roboter, tester dem i simulering og reviderer dem når de feiler, ifølge universitetet.blogs.nvidia.com+1

Kunngjøringene reflekterer et bredere skifte i feltet fra å lære roboter å gå, til å lære dem delikate oppgaver som å koble til kabler og montere små deler. Konferansen varer frem til 12. november.nvidia.com

Agenter som skriver robotkode

Berkeleys Graph-as-Policy-rammeverk deler en robotoppgave inn i separate ferdigheter, som å finne et objekt, planlegge et grep og bevege seg uten kollisjoner. AI-agenter kobler deretter disse ferdighetene sammen til et program og øver på det gjennom ulike oppgavevariasjoner ved hjelp av NVIDIAs Isaac-simuleringsbiblioteker, opplyser Berkeley. I en test bygde OpenAIs Astra-modell en fysikksimulering basert på en kort video av en robot som tørket blekk av en metallstang med en svamp, og produserte deretter kontrollkode som fungerte på en ekte robot.techxplore.com

"Agentbasert robotikk gir en manglende kobling mellom modellbaserte og modellfrie metoder. Det er en vei videre som ikke krever ytterligere data," sa Ken Goldberg, robotikkforskeren ved Berkeley som leder arbeidet. Berkeley-baserte Ambi Robotics brukte metodene til å oppdatere sine pakkesorteringsroboter, noe som økte kapasiteten med mer enn 15 000 pakker per robot årlig, og har implementert endringen på 30 % av sin amerikanske flåte, rapporterte universitetet. Berkeley og NVIDIA lanserte også VABAR, en ytelsestest som dekker seks industrielle oppgaver med standardiserte variasjoner og vanskelighetsgrader, ifølge NVIDIA.blogs.nvidia.com+1

GR00T 2 og simuleringsverktøy

GR00T 2 er bygget på NVIDIA Cosmos og ble delvis trent på 100 000 timer med åpen kildekode-video fra menneskers perspektiv. Ifølge NVIDIA oppnådde modellen i gjennomsnitt 71 % suksess over 50 oppgaver med én demonstrasjon per oppgave, og 95 % med fem. Foxconn tar teknologien i bruk i serverproduksjon, og Siemens vurderer den for industrielle formål.blogs.nvidia.com

Isaac Lab 3.0, som ble allment tilgjengelig under GTC Berlin i oktober, lar agenter sette opp treningsmiljøer. Med Newton-fysikkmotoren leverte den opptil 2,5 ganger treningsgjennomstrømningen til Isaac Lab 2.3 på en synsbasert ferdighetstest, opplyser NVIDIA. Selskapet fremhevet også DexBench, en ferdighetstest bygget med RLWRLD, og bemerket at to NVIDIA-artikler er blant seks finalister til CoRLs Best Paper Awards.investor.nvidia.com

Begrensninger gjenstår

Goldberg sa at gevinstene er tydeligst i repeterende industrielt arbeid, og advarte om at husholdningsroboter som bretter klær fortsatt er et stykke unna. Likevel er han entusiastisk. "For meg er agentbasert robotikk den mest spennende teknologiske utviklingen siden internett i 1995," sa han i NVIDIAs kunngjøring.blogs.nvidia.com