benchmarking

OpenAI lance un outil pour évaluer les réponses des IA sur la santé mentale

OpenAI a lancé mercredi MentalHealthBench, un référentiel ouvert composé de 1 215 conversations synthétiques sur la santé mentale, élaboré avec plus de 80 professionnels agréés pour mesurer la manière dont les modèles d'IA réagissent dans des scénarios allant du stress…

GPT-6 Astra divise les laboratoires indépendants

Le GPT-6 Astra d'OpenAI, lancé le 3 septembre 2026, a suscité un désaccord rare parmi les évaluateurs indépendants: l'un le classe comme le meilleur modèle d'IA au monde, tandis qu'un autre le place au même niveau que son prédécesseur et…

Un agent de Nvidia obtient 100% au test de raisonnement ARC-AGI-3

Nvidia a publié vendredi une étude montrant que son système d'agents polyvalent, Agentic Variation Operators (AVO), a atteint un score parfait de 100% au benchmark de raisonnement interactif ARC-AGI-3. Ce résultat souligne que l'architecture de l'agent, et non seulement la…

OpenAI retire sa recommandation de SWE-Bench Pro après qu’un audit a révélé que 30 % des tâches sont défectueuses

OpenAI a annoncé mardi qu'elle retirait sa recommandation de SWE-Bench Pro en tant que mesure fiable de la capacité de codage de l'IA, citant un audit interne qui a révélé qu'environ 30 % des tâches du benchmark sont défectueuses et…