OpenAI retira la recomendación de SWE-Bench Pro tras una auditoría que reveló que el 30% de las tareas están defectuosas

OpenAI anunció el martes que retira su recomendación de SWE-Bench Pro como medida fiable de la capacidad de codificación de la IA, citando una auditoría interna que encontró que aproximadamente el 30% de las tareas del benchmark están defectuosas y un techo de ruido de aproximadamente el 70% que socava su utilidad para evaluar modelos de frontera.x+1

Un patrón de erosión de los benchmarks

La retirada marca la segunda vez en menos de seis meses que OpenAI se aleja de una evaluación de codificación importante. En febrero de 2026, la empresa dejó de informar sobre las puntuaciones en SWE-bench Verified —un benchmark que ayudó a crear en 2024— tras descubrir que el 59,4% de las tareas auditadas contenían casos de prueba defectuosos y que la contaminación de los datos de entrenamiento había hecho que las puntuaciones carecieran de sentido.openai+1

En ese momento, OpenAI señaló a los investigadores hacia SWE-Bench Pro, un benchmark más difícil desarrollado por Scale AI que comprende 1.865 tareas de ingeniería de software de largo alcance en 41 repositorios profesionales. El benchmark fue diseñado para resistir los problemas de contaminación que plagaron a su predecesor, y los principales modelos de frontera inicialmente puntuaron solo alrededor del 23% en él.morphllm+3

Saturación rápida

Pero las puntuaciones subieron rápidamente. A finales de junio de 2026, Claude Opus 4.8 alcanzó el 69,2% en los arneses agregados por el proveedor y GPT-5.4 (xHigh) obtuvo un 59,1% en el conjunto público estandarizado de Scale. La auditoría de OpenAI concluye ahora que las puntuaciones en este rango ya no reflejan diferencias de capacidad genuinas entre los modelos; en cambio, reflejan las propias limitaciones del benchmark, incluidas especificaciones de tareas rotas e infraestructura de prueba ruidosa.morphllm+3

La empresa calificó a SWE-Bench Pro como "uno de los benchmarks de codificación de IA más utilizados" e instó a la comunidad investigadora a avanzar hacia nuevos métodos de evaluación.digg+1

Implicaciones más amplias

El anuncio intensifica una creciente crisis de confianza en las evaluaciones de codificación de IA. Los investigadores han señalado que la brecha entre el rendimiento en los benchmarks y la ingeniería de software del mundo real sigue siendo amplia, con modelos que obtienen buenos resultados en evaluaciones estructuradas pero que a menudo tienen dificultades en tareas que requieren un razonamiento arquitectónico genuino o la construcción completa de programas desde cero. OpenAI aún no ha nombrado un benchmark de reemplazo, dejando al campo sin un estándar de consenso para medir el progreso de la codificación de frontera.tianpan+1