Baidu lanza el modelo de pesos abiertos ERNIE 5.5 Flash Base

Baidu ↘ 2.18% lanzó ERNIE-5.5-Flash-Base el jueves 5 de noviembre. Se trata de un modelo de lenguaje de mezcla de expertos dispersa con pesos abiertos que cuenta con 280.000 millones de parámetros totales, de los cuales 14.000 millones se activan por token, según la publicación oficial de la compañía. Los pesos corresponden al punto de control obtenido al finalizar el preentrenamiento, antes de cualquier fase intermedia o posterior. Baidu lo presenta como un punto de partida compartido para la adaptación a dominios específicos, el ajuste de instrucciones y la investigación en aprendizaje por refuerzo. La empresa señala que aún está por llegar una versión lista para chat: "Este modelo base es solo un punto de partida. El ERNIE 5.5 Flash postentrenado llegará más adelante", escribió el equipo de ERNIE.ernie.baidu.com

Diseñado para la eficiencia

Baidu afirma que preentrenó el modelo desde cero con 33,5 billones de tokens, con un contexto de entrenamiento de hasta 128.000 tokens, y que admite un contexto de 1 millón de tokens para el ajuste fino y la inferencia. La ficha técnica del modelo enumera 43 capas. Según informó Unite.AI, 37 de ellas utilizan un esquema de atención comprimida que almacena una entrada de caché por cada bloque de 128 tokens, y casi todas las capas se dirigen a 10 de los 512 expertos, además de un experto compartido. Baidu declaró que "la eficiencia fue un objetivo de diseño desde el principio" y que diseñó el modelo y su sistema de entrenamiento de forma conjunta.unite.ai+1

En las pruebas internas de Baidu, el modelo superó a los puntos de control base rivales DeepSeek-V4-Flash-Base, Hy3-preview-Base y MiMo-V2.5-Base en la mayoría de los puntos de referencia. Obtuvo una puntuación de 93,3 en MMLU y 82,3 en HumanEval+, aunque quedó por detrás en FullStackBench e InfiniteBench. Hasta el momento no se ha publicado ninguna evaluación independiente.ernie.baidu.com+1

Disponibilidad y hardware

Los pesos están disponibles en Hugging Face en formatos safetensors FP8 y BF16. Los desarrolladores pueden servir el modelo con vLLM y SGLang a través de la API de completado, y Baidu ha publicado un plugin de vLLM que indica que el ERNIE-5.5-Flash postentrenado estará "disponible pronto". Ejecutarlo requiere hardware potente. El punto de control FP8 por sí solo ocupa unos 288 GB, y la receta de ajuste fino de modelo completo de NVIDIA ↘ 8.58% utiliza 16 nodos con cuatro GPU GB300 cada uno.huggingface.co+3

Una licencia restrictiva

El modelo se publica bajo el Acuerdo de Licencia de Modelo Base ERNIE 5.5 Flash v1.0 de Baidu. Sus derechos se aplican únicamente dentro de un "Territorio" que abarca todo el mundo excepto la Unión Europea, el Reino Unido y Corea del Sur. El uso no comercial es gratuito. Los usuarios comerciales con ingresos anuales relacionados de hasta 50 millones de dólares deben enviar a Baidu una notificación única y mostrar "Powered by ERNIE", mientras que las empresas más grandes necesitan la autorización previa por escrito de Baidu. La licencia también prohíbe utilizar el modelo o sus resultados para mejorar sistemas de IA no relacionados, lo que limita la destilación. Por ahora, un análisis señala que el término "abierto" describe si los pesos pueden descargarse, más que lo que los usuarios tienen permitido hacer con ellos.huggingface.co+2