benchmarking

OpenAI vydala benchmark pro hodnocení odpovědí AI v oblasti duševního zdraví

Společnost OpenAI ve středu představila MentalHealthBench, otevřený benchmark obsahující 1 215 syntetických konverzací o duševním zdraví. Tento nástroj byl vytvořen ve spolupráci s více než 80 licencovanými odborníky na duševní zdraví, aby změřil, jak modely umělé inteligence reagují v různých…

GPT-6 Astra sklízí rozporuplné reakce nezávislých laboratoří

Model GPT-6 Astra od společnosti OpenAI, vydaný 3. září 2026, vyvolal mezi nezávislými hodnotiteli vzácný rozkol: jedni jej řadí na první místo mezi modely umělé inteligence, zatímco druzí jej staví na úroveň jeho předchůdce a za konkurenční model od Anthropic.

Agent Nvidia dosáhl 100% skóre v testu uvažování ARC-AGI-3

Společnost Nvidia v pátek zveřejnila výzkum, který ukazuje, že její systém pro obecné agenty, Agentic Variation Operators (AVO), dosáhl perfektního skóre 100 % v benchmarku interaktivního uvažování ARC-AGI-3. Tento výsledek podtrhuje, jak architektura agenta, nejen schopnosti modelu, určuje výkon při…

OpenAI stahuje doporučení pro SWE-Bench Pro poté, co audit zjistil, že 30 % úloh je nefunkčních

Společnost OpenAI v úterý oznámila, že stahuje své doporučení pro SWE-Bench Pro jako spolehlivé měřítko schopností AI v programování. Jako důvod uvedla interní audit, který zjistil, že přibližně 30 % úloh benchmarku je nefunkčních a že existuje „strop šumu“ kolem…