benchmarking

OpenAI lanserer verktøy for å vurdere AI-svar om psykisk helse

OpenAI lanserte onsdag MentalHealthBench, en åpen testmetodikk bestående av 1 215 syntetiske samtaler om psykisk helse. Verktøyet er utviklet sammen med over 80 autoriserte fagfolk for å måle hvordan AI-modeller responderer i alt fra hverdagslige utfordringer til akutte kriser.

GPT-6 Astra får blandet mottakelse hos uavhengige laboratorier

OpenAIs GPT-6 Astra, lansert 3. september 2026, har skapt splid blant uavhengige evaluatorer: Den ene rangerer modellen som verdens beste, mens den andre plasserer den på nivå med forgjengeren og bak konkurrenten Anthropic.

Nvidia-agent oppnår 100 prosent på ARC-AGI-3 resonneringstest

Nvidia publiserte fredag forskning som viser at deres generelle agentsystem, Agentic Variation Operators (AVO), oppnådde en perfekt score på 100 prosent på ARC-AGI-3-testen for interaktiv resonnering. Resultatet understreker hvordan agentarkitektur, ikke bare modellkapasitet, avgjør ytelsen i komplekse autonome oppgaver.

OpenAI trekker tilbake anbefaling av SWE-Bench Pro etter at revisjon fant at 30 % av oppgavene er ødelagte

OpenAI kunngjorde tirsdag at de trekker tilbake sin anbefaling av SWE-Bench Pro som et pålitelig mål for AI-kodingsevner. De viser til en intern revisjon som fant at omtrent 30 % av benchmarkens oppgaver er ødelagte, og at det finnes et…