Baidu publie le modèle à poids ouverts ERNIE 5.5 Flash Base

Baidu ↘ 2.31% a publié ERNIE-5.5-Flash-Base le jeudi 5 novembre. Il s'agit d'un modèle de langage à poids ouverts basé sur une architecture de mélange d'experts clairsemé, totalisant 280 milliards de paramètres, dont 14 milliards sont activés par jeton, selon le communiqué officiel de l'entreprise. Les poids correspondent au point de contrôle pris à la fin du pré-entraînement, avant toute phase intermédiaire ou post-entraînement. Baidu le présente comme un point de départ partagé pour l'adaptation à des domaines spécifiques, le réglage des instructions et la recherche en apprentissage par renforcement. L'entreprise précise qu'une version prête pour le chat est prévue : "Ce modèle de base n'est qu'un point de départ. Le modèle ERNIE 5.5 Flash post-entraîné suivra", a écrit l'équipe ERNIE.ernie.baidu.com

Conçu pour l'efficacité

Baidu affirme avoir pré-entraîné le modèle à partir de zéro sur 33,5 billions de jetons avec un contexte d'entraînement allant jusqu'à 128 000 jetons, et qu'il prend en charge un contexte d'un million de jetons pour le réglage fin et l'inférence. La fiche technique du modèle répertorie 43 couches. Selon Unite.AI, 37 d'entre elles utilisent un schéma d'attention compressé qui stocke une entrée de cache par bloc de 128 jetons, et presque chaque couche est dirigée vers 10 des 512 experts, en plus d'un expert partagé. Baidu a déclaré que "l'efficacité était un objectif de conception dès le départ" et que l'entreprise a conçu le modèle et son système d'entraînement de concert.unite.ai+1

Dans les tests internes de Baidu, le modèle a surpassé les points de contrôle de base concurrents DeepSeek-V4-Flash-Base, Hy3-preview-Base et MiMo-V2.5-Base sur la plupart des benchmarks. Il a obtenu un score de 93,3 sur MMLU et 82,3 sur HumanEval+, mais a été devancé sur FullStackBench et InfiniteBench. Aucune évaluation indépendante n'a été publiée à ce jour.ernie.baidu.com+1

Disponibilité et matériel

Les poids sont disponibles sur Hugging Face aux formats safetensors FP8 et BF16. Les développeurs peuvent servir le modèle avec vLLM et SGLang via l'API de complétion, et Baidu a publié un plugin vLLM indiquant que le modèle ERNIE-5.5-Flash post-entraîné est "bientôt disponible". Son exécution nécessite un matériel puissant. Le point de contrôle FP8 pèse environ 288 Go, et la recette de réglage fin du modèle complet de NVIDIA ↘ 7.81% utilise 16 nœuds équipés de quatre GPU GB300 chacun.huggingface.co+3

Une licence restrictive

Le modèle est publié sous l'accord de licence personnalisé ERNIE 5.5 Flash Base Model License Agreement v1.0 de Baidu. Ses droits ne s'appliquent qu'au sein d'un "territoire" couvrant tout le monde, à l'exception de l'Union européenne, du Royaume-Uni et de la Corée du Sud. L'utilisation non commerciale est gratuite. Les utilisateurs commerciaux réalisant jusqu'à 50 millions de dollars de revenus annuels liés doivent envoyer une notification unique à Baidu et afficher la mention "Powered by ERNIE", tandis que les grandes entreprises doivent obtenir l'autorisation écrite préalable de Baidu. La licence interdit également l'utilisation du modèle ou de ses résultats pour améliorer des systèmes d'IA non liés, ce qui limite la distillation. Pour l'instant, une analyse note que le terme "ouvert" décrit la possibilité de télécharger les poids plutôt que ce que les utilisateurs sont autorisés à faire avec.huggingface.co+2