ByteDance crée une division de données IA de premier plan pour propulser son modèle géant

ByteDance a mis en place un nouveau département de premier plan baptisé « AI Data & Security », renforçant ainsi l'approche de l'entreprise en matière de gouvernance des données alors qu'elle se lance dans l'entraînement de ce qui pourrait être l'un des plus grands modèles d'IA au monde.

Cette nouvelle entité, dont l'existence a été révélée par le média technologique chinois 36Kr, opère au même niveau organisationnel que la division de recherche Seed AI de ByteDance, Flow et Douyin, selon PANews. Elle est dirigée par Adam Wang, qui supervisait auparavant la responsabilité de la plateforme et les opérations de diffusion en direct de TikTok.kucoin

Consolider le flux de données

La mission principale de ce département est de fournir des services de données multimodaux pour l'ensemble des grands modèles de ByteDance. Il intègre l'équipe Global Data, fondée en 2023 par Fu Yue, un des membres fondateurs de TikTok, ainsi que le middleware de données DMC de l'entreprise et la plateforme de données IA de Flow. L'unité couvre l'ensemble du cycle de vie des données, de la standardisation et de l'approvisionnement à la synthèse, au nettoyage, à l'évaluation de la qualité et à la conformité en matière de sécurité.kucoin

Le contexte de l'anti-distillation

Cette restructuration intervient quelques jours après que le fondateur de ByteDance, Zhang Yiming, a demandé à l'équipe de recherche Seed AI de l'entreprise d'éviter d'améliorer ses modèles en distillant des systèmes concurrents. « Le développement de l'IA exige une vision à long terme et une satisfaction différée, plutôt que d'utiliser les résultats des autres pour obtenir des classements à court terme », a déclaré Zhang lors d'une récente réunion interne, selon un rapport de Reuters citant le média chinois The Paper.mix929

Zhang a expliqué aux employés que ByteDance devait être prête à « sacrifier certains gains à court terme au profit d'objectifs à long terme », ajoutant que la distillation faisait obstacle à de véritables percées technologiques à long terme.mix929

Cette directive prend une importance particulière dans le contexte géopolitique actuel. Le Financial Times a rapporté le 7 août que ByteDance pré-entraînait un modèle comptant jusqu'à 10 billions de paramètres à l'aide d'une architecture de mélange d'experts (mixture-of-experts), nécessitant environ 30 000 GPU et trois à six mois de pré-entraînement continu. La nouvelle unité de données semble conçue pour garantir que le processus d'entraînement de ce projet, ainsi que des futurs, repose sur des données correctement gouvernées et issues de sources internes, plutôt que sur des données aspirées ou distillées à partir de systèmes occidentaux.wionews

Un signal structurel

En plaçant la gouvernance des données d'IA au même niveau que ses divisions clés de recherche et de produits d'IA, ByteDance envoie un signal organisationnel fort : la provenance et la conformité des données ne sont pas des détails secondaires, mais des conditions préalables à ses ambitions de pointe. Cette initiative permet également à l'entreprise de se prémunir contre d'éventuelles accusations de violation de la propriété intellectuelle, alors que les autorités américaines ont prévenu que des « sanctions et des inscriptions sur la liste des entités (Entity List) seraient envisagées » pour les entreprises chinoises soupçonnées de distiller des systèmes d'IA américains.wionews