Musk : le modèle à 2 billions de paramètres de xAI aura fini son entraînement la semaine prochaine

Elon Musk a révélé le 18 juillet que le prochain grand modèle de langage de xAI, un système de 2 billions de paramètres qui devrait s'appeler Grok 4.6, terminera sa phase d'entraînement initiale la semaine prochaine, une réponse directe au lancement de Kimi K3 par Moonshot AI à peine deux jours plus tôt.kucoin+2

Musk a précisé que le nouveau modèle surpasse sur tous les plans Grok 4.5, qui repose sur un modèle de base de 1,5 billion de paramètres connu en interne sous le nom de V9. Il a ajouté que le modèle 2T pourrait surpasser Kimi K3 tout en conservant une vitesse de génération et une efficacité des jetons proches de celles de Grok 4.5.kucoin+1

Le défi Kimi K3

Moonshot AI a dévoilé Kimi K3 le 16 juillet avec 2,8 billions de paramètres, ce qui en fait le plus grand modèle d'IA en poids ouverts jamais publié. La start-up basée à Pékin a planifié ce lancement juste avant la World Artificial Intelligence Conference à Shanghai, la publication complète des poids du modèle étant prévue pour le 27 juillet.tmtpost+4

Selon les tests d'Artificial Analysis, Kimi K3 a obtenu un score de 57 aux tests d'intelligence comparatifs, contre 54 pour Grok 4.5, bien que le coût par tâche de Grok 4.5, d'environ 0,31 dollar, représente environ un tiers des 0,94 dollar de Kimi K3. L'objectif affiché par Musk pour le modèle 2T est de combler cet écart de performance tout en conservant cet avantage de coût.kucoin+1

La BBC a rapporté que des évaluations indépendantes d'Artificial Analysis indiquent que Kimi K3 affiche des performances comparables aux principaux modèles américains, obtenant d'excellents résultats en ingénierie d'interface web. Business Insider a quant à lui rapporté que les tarifs de l'API de Moonshot AI sur Alphabet Inc. ↘ 1.24% pour K3 sont inférieurs à ceux d'OpenAI et d'Anthropic.bbc+1

Les ambitions de mise à l'échelle de xAI

Le modèle 2T représente une étape dans la feuille de route plus large de xAI en matière de mise à l'échelle. Grok 4.5, le modèle à 1,5 billion de paramètres actuellement en version bêta privée chez SpaceX et Tesla ↘ 1.30%, a été annoncé par Musk le 28 juin et afficherait des performances proches de Claude Opus, voire supérieures dans certains cas.gigazine+2

Au-delà, xAI entraîne des systèmes encore plus vastes sur son supercalculateur Colossus 2, notamment des variantes à 6 et 10 billions de paramètres baptisées Grok 5. Sept modèles seraient en cours d'entraînement simultané sur le cluster depuis le mois d'avril.mindstudio+1

Par ailleurs, xAI poursuit le développement de Grok Build, un agent de codage lancé en mai qui fonctionne depuis le terminal et délègue le travail à des sous-agents parallèles. L'outil a atteint la version 0.2.101 le 13 juillet et reste en phase bêta pour les abonnés à l'offre SuperGrok Heavy de xAI à 300 dollars par mois.ciodive+2