ByteDance entraîne un modèle d’IA de 10 000 milliards de paramètres, selon le FT

ByteDance entraîne un modèle d'intelligence artificielle comptant jusqu'à 10 000 milliards de paramètres, une échelle qui pourrait rivaliser avec le système Mythos le plus avancé d'Anthropic, a rapporté vendredi le Financial Times, citant des personnes proches du dossier.reuters+1

Le projet, actuellement dans une phase de pré-entraînement qui devrait durer de trois à six mois, rendrait le modèle de ByteDance plus de trois fois plus volumineux que le Kimi K3 de la jeune pousse chinoise Moonshot AI, qui compte 2 800 milliards de paramètres. S'il est mené à terme à cette échelle, il figurerait parmi les plus grands systèmes d'IA jamais développés.thenews+1

Échelle et contexte

Bien qu'Anthropic ne divulgue pas publiquement le nombre de paramètres de ses modèles, les estimations du secteur situent son modèle phare, Mythos 5, à environ 8 000 milliards de paramètres et Fable 5 à près de 5 000 milliards. L'ambition rapportée de ByteDance la placerait au niveau, voire au-dessus, de la frontière actuelle du développement de l'IA.finimize+1

Les paramètres sont des valeurs numériques qu'un modèle apprend lors de son entraînement, lui permettant de reconnaître des motifs et de générer des réponses. Cependant, les chercheurs soulignent que la taille ne détermine pas à elle seule les capacités : la qualité des données d'entraînement, l'architecture et l'optimisation comptent tout autant.newsbytesapp+1

Avant Kimi K3, les plus grands modèles chinois comprenaient LongCat-2.0 de Meituan et V4-Pro de DeepSeek, chacun affichant environ 1 600 milliards de paramètres.timesnownews

Le choix d'un développement indépendant plutôt que de la distillation

Ces informations surviennent en parallèle d'une directive de Zhang Yiming, le fondateur de ByteDance, qui a demandé à son personnel de cesser d'améliorer les modèles en distillant les résultats de systèmes concurrents, privilégiant ainsi des capacités indépendantes à long terme plutôt que des gains à court terme. Cette instruction fait suite aux accusations d'Anthropic selon lesquelles plusieurs entreprises chinoises d'IA auraient utilisé Claude à grande échelle pour entraîner leurs propres modèles.news.sbs+1

L'équipe de recherche Seed de ByteDance, créée début 2023, emploie aujourd'hui environ 2 000 personnes en Chine et à l'étranger. Wu Yonghui, qui a précédemment travaillé chez Google Alphabet Inc. ↘ 0.88% et DeepMind, en a pris la direction de la recherche en février 2025.news.sbs

Une course mondiale à l'IA qui s'intensifie

Ce projet souligne l'intensification de la rivalité entre les entreprises technologiques chinoises et américaines à la pointe de l'IA. Ces dernières semaines, des modèles de Moonshot et d'Alibaba ↗ 1.26% ont reçu des évaluations très favorables lors de tests comparatifs, ne se plaçant derrière Fable 5 d'Anthropic que dans certains domaines.news.sbs

Contrairement à de nombreuses entreprises chinoises qui privilégient l'IA en open source, la plupart des modèles de ByteDance restent propriétaires. Son agent conversationnel Doubao est le modèle d'IA le plus populaire en Chine, comptant 324 millions d'utilisateurs actifs mensuels, tandis que son modèle de génération vidéo Seedance est considéré comme l'un des plus avancés au monde.news.sbs

ByteDance n'a pas répondu à une demande de commentaire, selon le Financial Times.news.sbs