benchmarking

OpenAI lanza una herramienta para evaluar respuestas de IA sobre salud mental

OpenAI lanzó el miércoles MentalHealthBench, un estándar abierto compuesto por 1,215 conversaciones sintéticas sobre salud mental, desarrollado junto a más de 80 profesionales licenciados para medir cómo responden los modelos de IA en escenarios que van desde el estrés diario…

GPT-6 Astra genera opiniones divididas en laboratorios independientes

El GPT-6 Astra de OpenAI, lanzado el 3 de septiembre de 2026, ha provocado una inusual división entre los evaluadores independientes: uno lo clasifica como el mejor modelo de IA del mundo, mientras que otro lo sitúa al mismo nivel…

Agente de Nvidia logra un 100% en el benchmark de razonamiento ARC-AGI-3

Nvidia publicó el viernes una investigación que demuestra que su sistema de agentes de propósito general, Agentic Variation Operators (AVO), logró una puntuación perfecta del 100% en el benchmark de razonamiento interactivo ARC-AGI-3, un resultado que subraya cómo la arquitectura…

OpenAI retira la recomendación de SWE-Bench Pro tras una auditoría que reveló que el 30% de las tareas están defectuosas

OpenAI anunció el martes que retira su recomendación de SWE-Bench Pro como medida fiable de la capacidad de codificación de la IA, citando una auditoría interna que encontró que aproximadamente el 30% de las tareas del benchmark están defectuosas y…