DeepSeek publie le code source de son moteur d’IA pour réduire les coûts

Mardi 20 octobre, le développeur chinois d'IA DeepSeek a publié DeepInfer, le logiciel interne qu'il utilise pour servir ses modèles à grande échelle, en open source. L'entreprise a présenté ce lancement comme un moyen de réduire le coût d'exploitation des grands systèmes d'IA. Bloomberg a rapporté que cette décision pourrait rendre la technologie de DeepSeek moins chère et plus facile à utiliser pour les entreprises. DeepInfer est un logiciel qui permet aux modèles de l'entreprise de fonctionner plus rapidement et d'utiliser les ressources informatiques plus efficacement.bloomberg.com

DeepSeek a déclaré que DeepInfer alimente DeepSeek-V4.1-Flash "à grande échelle avec un débit élevé et une faible latence". L'entreprise a également précisé qu'elle partageait sa pile de production "pour aider la communauté à réduire les coûts de calcul, diminuer la consommation d'énergie et rendre l'IA plus abordable", selon son annonce sur X. La société a ajouté que le code d'inférence pour les futurs modèles et les optimisations ultérieures serait publié dans le même dépôt.alphasignal.ai+1

Contenu de la version

Le dépôt GitHub décrit DeepInfer comme "le framework d'inférence haute performance qui alimente les services de production à grande échelle de DeepSeek". La première version propose l'inférence hors ligne et prend en charge DeepSeek-V4.1-Flash. Le code est sous licence Apache 2.0. Il comprend les noyaux personnalisés de DeepSeek, tels que FlashMLA, DeepGEMM et DeepEP, ainsi que le décodage spéculatif DSpark, l'inférence invariante par lots et la sortie structurée. Le framework est construit sur le projet open source vLLM.alphasignal.ai+1

DeepSeek a également publié deepseek-recipe, un composant qui convertit les requêtes API en prompts de modèle et analyse la sortie. Il correspond à la logique de traitement de l'API officielle de DeepSeek, de sorte que les déploiements auto-hébergés se comportent comme le propre service de l'entreprise.tech.ifeng.com

Matériel Nvidia et Huawei

DeepInfer prend en charge les GPU Nvidia SM100 et les NPU Huawei Ascend 950. La semaine dernière, DeepSeek a déclaré qu'il prévoyait de pré-entraîner des modèles sur cette même puce Huawei d'ici fin 2026. La couverture médiatique chinoise du lancement a indiqué qu'un seul cluster DeepSeek traite 155 000 milliards de jetons par jour. Ce chiffre n'a pas été vérifié de manière indépendante.aiweekly.co+2

L'annonce est intervenue trois jours après que DeepSeek a mis à jour le modèle vers V4.1-Flash-1017, sans changement de prix de l'API. Hualong Securities a déclaré que les mises à jour rapides de DeepSeek soutiennent l'argument d'une baisse des coûts et d'une demande croissante pour le calcul d'inférence en Chine.stcn.com

Éléments manquants

La version n'est pas un système de service complet. Selon le fichier README, elle n'inclut pas de système de cache KV, de désagrégation de pré-remplissage et de décodage, ni d'équilibrage de charge entre les répliques. Les entreprises qui souhaitent exploiter un service de production devront construire cette infrastructure elles-mêmes. Cela rend DeepInfer plus utile pour les équipes qui exploitent déjà des systèmes d'inférence distribués.fourweekmba.com+1

Dans son annonce en chinois, DeepSeek a déclaré espérer que ce lancement aiderait les développeurs et les entreprises à construire efficacement des déploiements dans le cloud privé et public, "afin que l'intelligence puisse atteindre une population plus large à un prix inférieur".sina.cn