Los modelos de IA de escritorio pequeños pueden competir con los sistemas en la nube, según un estudio de Stanford

Un estudio de la Universidad de Stanford está atrayendo nueva atención por su hallazgo de que los modelos de lenguaje pequeños que se ejecutan en computadoras de escritorio pueden igualar el rendimiento de los grandes sistemas de IA basados en la nube en la gran mayoría de las tareas, mientras consumen mucha menos energía. La investigación, que introdujo una nueva métrica llamada "inteligencia por vatio", fue destacada esta semana en una columna de Reuters por el estratega de inversiones Joachim Klement, quien argumentó que los hallazgos plantean dudas sobre la rentabilidad a largo plazo de las empresas que construyen modelos de IA cada vez más grandes.Inkl+1

Lo que descubrió el estudio

El documento de Stanford, escrito por Jon Saad-Falcon, Avanika Narayan y colegas de la Universidad de Stanford y Together AI, probó más de 20 modelos de lenguaje locales con hasta 20 mil millones de parámetros activos en ocho aceleradores de hardware y un millón de consultas de razonamiento y chat de un solo turno del mundo real. Los investigadores descubrieron que los modelos locales pueden responder con precisión al 88,7% de las consultas, con una precisión que supera el 90% en tareas creativas y que se mantiene sólida en aplicaciones de ventas, gestión y entretenimiento.Let's Data Science+3

En las tareas de razonamiento más difíciles, los modelos pequeños mantienen el ritmo de los grandes modelos de lenguaje en aproximadamente el 50% de los casos, frente a solo el 8% dos años antes, según el análisis de Klement sobre los hallazgos. El estudio también encontró que la "inteligencia por vatio" mejoró 5,3 veces entre 2023 y 2025, impulsada por una ganancia de 3,1 veces gracias a las mejoras del modelo y 1,7 veces gracias a los avances del hardware.scalingintelligence.stanford+2

Implicaciones de energía y costos

Las ganancias en eficiencia tienen consecuencias económicas directas. Un enfoque de enrutamiento de "oráculo" (dirigir las consultas a modelos locales cuando son capaces) podría reducir el uso de energía en un 80,4% y los costos de cómputo en un 73,8% en comparación con la inferencia solo en la nube, descubrió el equipo de Stanford. Incluso un enrutador imperfecto que opere con un 80% de precisión sigue ofreciendo reducciones de energía superiores al 60%.Linkedin

Los hallazgos del estudio llegan mientras Nvidia ↘ 3.17%, que suministra las GPU que impulsan la IA de los centros de datos, enfrenta preguntas sobre si la demanda de cómputo centralizado crecerá según lo proyectado. Klement escribió que si los modelos pequeños continúan mejorando a su ritmo actual, empresas como Anthropic, OpenAI y xAI "pueden tener motivos para preocuparse" porque "el futuro de la IA podría ser más pequeño, más barato y mucho menos rentable de lo que esperan los inversores".klementoninvesting.substack

Un panorama cambiante

La investigación refleja una tendencia más amplia de la industria. Los investigadores de IBM International Business Machines Corporation ↗ 1.71% han probado modelos que incluyen gpt-oss de OpenAI, Qwen3 y Granite 4.0 de IBM en hardware de consumo, descubriendo que los modelos locales actuales logran una mayor inteligencia por vatio que los modelos de generaciones anteriores en hardware especializado. La propia Nvidia publicó un documento en 2026 argumentando que los modelos de lenguaje pequeños son "suficientemente potentes, intrínsecamente más adecuados y necesariamente más económicos" para los sistemas de IA agentes.IBM+1

El documento de Stanford se publicó por primera vez como preimpresión en noviembre de 2025, con una cobertura de consultas locales (la proporción de consultas del mundo real que los modelos locales pueden manejar con precisión) que aumentó del 23,2% en 2023 al 71,3% en 2025.Let's Data Science+1