Nvidia dévoile GR00T 2 pour apprendre aux robots des tâches délicates

NVIDIA ↘ 4.30% a profité de la journée d'ouverture de la Conference on Robot Learning (CoRL) à Austin, au Texas, le lundi 9 novembre, pour présenter GR00T 2, un "modèle d'action mondial" ouvert pour la manipulation robotique, accompagné de nouveaux outils de simulation et de benchmarks, a déclaré l'entreprise. Des chercheurs de l'UC Berkeley travaillant avec NVIDIA ont également présenté la "robotique agentique", une approche dans laquelle des agents d'IA écrivent des programmes de contrôle pour robots, les testent en simulation et les révisent lorsqu'ils échouent, selon l'université.blogs.nvidia.com+1

Ces annonces reflètent une évolution plus large dans le domaine, passant de l'apprentissage de la marche pour les robots à l'exécution de tâches délicates, comme connecter des câbles ou assembler de petites pièces. La conférence se poursuit jusqu'au 12 novembre.nvidia.com

Des agents qui écrivent le code des robots

Le cadre Graph-as-Policy de Berkeley divise une tâche robotique en compétences distinctes, telles que trouver un objet, planifier une saisie et se déplacer sans collision. Les agents d'IA lient ensuite ces compétences dans un programme et le répètent à travers diverses variantes de tâches en utilisant les bibliothèques de simulation Isaac de NVIDIA, a expliqué Berkeley. Lors d'un test, le modèle Astra d'OpenAI a construit une simulation physique à partir d'une courte vidéo montrant un robot essuyant de l'encre sur une barre métallique avec une éponge, puis a produit un code de contrôle qui a fonctionné sur un robot réel.techxplore.com

"La robotique agentique fournit un chaînon manquant entre les méthodes basées sur des modèles et celles qui n'en utilisent pas. C'est une voie à suivre qui ne nécessite aucune donnée supplémentaire", a déclaré Ken Goldberg, le roboticien de Berkeley à la tête de ces travaux. Ambi Robotics, basée à Berkeley, a utilisé ces méthodes pour mettre à jour ses robots de tri de colis, augmentant leur capacité de plus de 15 000 colis par robot chaque année, et a déployé ce changement sur 30% de sa flotte américaine, a rapporté l'université. Berkeley et NVIDIA ont également publié VABAR, un benchmark couvrant six tâches industrielles avec des variantes standardisées et des niveaux de difficulté, a indiqué NVIDIA.blogs.nvidia.com+1

GR00T 2 et outils de simulation

GR00T 2 est construit sur NVIDIA Cosmos et a été entraîné en partie sur 100 000 heures de vidéos humaines égocentrées en open source. Selon NVIDIA, il a atteint une moyenne de 71% de réussite sur 50 tâches avec une seule démonstration par tâche, et 95% avec cinq. Foxconn l'applique à la fabrication de serveurs, et Siemens l'évalue pour des usages industriels.blogs.nvidia.com

Isaac Lab 3.0, devenu disponible au grand public lors de la GTC Berlin en octobre, permet aux agents de configurer des environnements d'entraînement. Avec le moteur physique Newton, il a offert un débit d'entraînement jusqu'à 2,5 fois supérieur à celui d'Isaac Lab 2.3 sur un benchmark de dextérité basé sur la vision, a précisé NVIDIA. L'entreprise a également mis en avant DexBench, un benchmark de dextérité construit avec RLWRLD, et a noté que deux articles de NVIDIA figurent parmi les six finalistes pour les prix du meilleur article de la CoRL.investor.nvidia.com

Des limites subsistent

Goldberg a souligné que les gains sont les plus évidents dans le travail industriel répétitif et a averti que les robots domestiques capables de plier le linge sont encore loin d'être une réalité. Malgré tout, il reste enthousiaste. "Pour moi, la robotique agentique est le développement technologique le plus passionnant depuis l'avènement d'Internet en 1995", a-t-il déclaré dans l'annonce de NVIDIA.blogs.nvidia.com