Claude Fable 5 de Anthropic encabeza el renovado Android Bench de Google

Google Alphabet Inc. ↘ 1.42% lanzó el martes una importante actualización de Android Bench, su tabla de clasificación para evaluar qué tan bien manejan los modelos de IA las tareas de desarrollo de Android en el mundo real. La actualización añade ocho nuevos modelos a las clasificaciones —encabezados por Claude Fable 5 de Anthropic, que se hizo con el primer puesto con una puntuación de precisión del 84,5 por ciento— y migra el marco subyacente del benchmark a un nuevo sistema llamado Harbor.developer.android+1

Una nueva tabla de clasificación toma forma

La tabla de clasificación actualizada, publicada el 8 de julio, presenta a Claude Fable 5 en el puesto número 1, seguido por GPT 5.5 de OpenAI con un 80,2 por ciento y Claude Sonnet 5 con un 76,2 por ciento. El propio Gemini 3.1 Pro Preview de Google ocupó el quinto lugar con un 73,7 por ciento, quedando también por detrás de GPT 5.4. Otros modelos recién añadidos incluyen Qwen 3.7 Max, Qwen 3.7 Plus, GLM 5.2, Kimi K2.7 Code y MiniMax M3.developer.android

Los resultados continúan un patrón observado por primera vez en mayo, cuando GPT 5.5 encabezó la tabla de clasificación y Gemini quedó por detrás de los modelos de OpenAI por aproximadamente dos puntos porcentuales. Con Fable 5 ahora en la mezcla, la brecha en la cima se ha ampliado aún más. El modelo, lanzado por Anthropic en junio, ha registrado puntuaciones líderes en múltiples benchmarks de codificación, incluido un 80,3 por ciento en SWE-Bench Pro.atlascloud+2

Cambios en la metodología y contribuciones abiertas

Más allá de añadir modelos, Google migró el marco de Android Bench a Harbor, que describió como capaz de permitir pruebas de razonamiento de IA más difíciles y del mundo real. El benchmark evalúa los modelos a través de 100 casos de prueba ejecutados 10 veces cada uno, midiendo no solo la precisión sino también la latencia y el costo por ejecución —dimensiones que Google introdujo por primera vez en mayo.x+2

Google también indicó que los desarrolladores ahora pueden contribuir al benchmark directamente, un cambio que podría ampliar el rango de desafíos de codificación específicos de Android utilizados para probar los modelos. Varios modelos más antiguos, incluidos Claude Opus 4.6, Claude Sonnet 4.5 y variantes anteriores de GPT, fueron archivados en la actualización.developer.android+1

Lo que revelan las clasificaciones

Los datos de costo y velocidad en la nueva tabla de clasificación ofrecen una lente práctica más allá de la precisión bruta. Deepseek V4 Flash, por ejemplo, obtiene un modesto 54,7 por ciento pero cuesta solo 1,50 dólares por ejecución de benchmark, mientras que la puntuación máxima de Claude Fable 5 cuesta 133,20 dólares por ejecución. Las compensaciones subrayan las elecciones que enfrentan los desarrolladores de Android a medida que las herramientas de codificación asistidas por IA se integran en los flujos de trabajo diarios —y a medida que los propios modelos de Google continúan persiguiendo a sus rivales de Anthropic y OpenAI en el benchmark que Google mismo construyó.developer.android