Musk prévoit un déploiement limité de Grok 4.8 après une réécriture du code

Elon Musk a déclaré mardi que Grok 4.8 commencerait un déploiement limité plus tard cette semaine. Il a précisé que l'entreprise derrière le chatbot avait remplacé ses frameworks logiciels externes par son propre code, ce qui a retardé le modèle. "Nous avons abandonné JAX/SGLang et réécrit toute la pile RL et d'inférence à partir de zéro en C/C++, ce qui a pris du temps supplémentaire", a écrit Musk sur X, selon l'Agence Anadolu. L'entreprise s'appelle désormais SpaceX Super Intelligence et était anciennement connue sous le nom de xAI.breakingthenews.net

Cette mise à jour intervient alors que xAI tente de faire migrer les utilisateurs de Grok 4.7, lancé en septembre. Musk a été ouvertement critique envers ce modèle et n'a fourni aucun score de référence pour le nouveau.

Où en est Grok 4.8

Musk a indiqué que le pré-entraînement est terminé et qu'"un gros travail de nettoyage était nécessaire sur les données SFT pour que ce soit globalement correct". SFT désigne le réglage fin supervisé. Il a ajouté que "4.8 est en phase de RL et les évaluations commencent à grimper", selon FourWeekMBA, qui a cité la publication faite à 09:35 UTC le 10 novembre. RL fait référence à l'apprentissage par renforcement, l'étape où un modèle est entraîné par des récompenses. "Nous ferons un déploiement progressif pour les utilisateurs de Bot plus tard cette semaine et verrons comment cela se passe", a écrit Musk. Il n'a pas précisé l'ampleur du déploiement, si les clients API y auront accès, ou quel sera le coût du modèle, a noté FourWeekMBA.fourweekmba.com

Le PDG de Tesla a également critiqué le modèle actuel. "Grok 4.8 ne ressemblera en rien à 4.7 (heureusement). Ce n'est pas encore incroyable, mais cette fois, les fondations sont bien construites, donc je m'attends à ce qu'il évolue pour devenir quelque chose de spécial", a-t-il écrit. Grok 4.7 a été lancé le 21 septembre.breakingthenews.net

Un retard de 57 jours

La publication est intervenue 57 jours après que Musk a écrit le 14 septembre que Grok 4.8 "terminerait son entraînement cette semaine et commencerait le RL", a calculé FourWeekMBA. Dans ce précédent message, Musk décrivait 4.8 comme "un modèle de 2.5T entraîné avec notre nouvelle pile logicielle C++". Cela signifiait que le pré-entraînement était déjà passé au code interne. Le nouveau message indique que les étapes d'apprentissage par renforcement et d'inférence ont désormais également été migrées. L'apprentissage par renforcement reposait encore sur d'anciennes piles logicielles corrigées au moment de la publication de septembre.lookonchain.com+1

Ce changement marque une rupture avec la façon dont Grok a été construit initialement. Le post de lancement de xAI en novembre 2023 indiquait que l'entreprise avait construit "une pile d'entraînement et d'inférence personnalisée basée sur Kubernetes, Rust et JAX", a rapporté FourWeekMBA. JAX est une bibliothèque de calcul matriciel issue des chercheurs de Google. SGLang est un framework open-source pour servir de grands modèles de langage.fourweekmba.com

Un timing compétitif

Ce lancement progressif intervient quelques jours après les sorties des concurrents. Anthropic a annoncé Claude Fable 5.2 le 9 novembre et Google a annoncé Gemini 4 Carbon le 28 octobre, selon FourWeekMBA. Il survient également après une semaine de plaintes de la part des utilisateurs de Grok Bot. Le 9 novembre, Musk a promis des correctifs rapides après que des abonnés payants ont signalé que leurs quotas d'utilisation étaient épuisés.fourweekmba.com

Pour l'instant, la parole de Musk est la seule preuve à la fois de la réécriture de la pile et de la progression des scores d'évaluation. Les tests externes de Grok 4.8 devront attendre que les utilisateurs puissent l'essayer.