benchmarking

OpenAI lanserar riktmärke för AI-svar om psykisk hälsa

OpenAI lanserade på onsdagen MentalHealthBench, ett öppet riktmärke bestående av 1 215 syntetiska samtal om psykisk hälsa. Verktyget har tagits fram tillsammans med över 80 legitimerade experter för att mäta hur AI-modeller svarar i scenarier som sträcker sig från vardaglig…

GPT-6 Astra får blandade omdömen av oberoende laboratorier

OpenAIs GPT-6 Astra, som lanserades den 3 september 2026, har skapat en ovanlig splittring bland oberoende utvärderare: en rankar den som världens främsta AI-modell, medan en annan placerar den i nivå med sin föregångare och bakom konkurrenten Anthropic.

Nvidia-agent får full pott på ARC-AGI-3 resonemangstest

Nvidia publicerade på fredagen forskning som visar att deras generella agentsystem, Agentic Variation Operators (AVO), uppnådde en perfekt poäng på 100 procent i ARC-AGI-3-testet för interaktivt resonemang. Resultatet understryker hur agentarkitektur, inte bara modellkapacitet, avgör prestandan i komplexa autonoma uppgifter.

OpenAI drar tillbaka rekommendation av SWE-Bench Pro efter att revision funnit att 30 % av uppgifterna är trasiga

OpenAI meddelade på tisdagen att de drar tillbaka sin rekommendation av SWE-Bench Pro som ett tillförlitligt mått på AI-kodningsförmåga. De hänvisar till en intern revision som fann att cirka 30 % av benchmarkens uppgifter är trasiga och att det finns…