benchmarking

OpenAI gefur út viðmið til að meta svör gervigreindar um geðheilbrigði

OpenAI gaf á miðvikudag út MentalHealthBench, opið viðmið sem inniheldur 1.215 tilbúnar geðheilbrigðissamræður, þróað í samvinnu við yfir 80 löggilta geðheilbrigðisstarfsmenn til að mæla hvernig gervigreindarlíkön bregðast við í ýmsum aðstæðum, allt frá daglegri streitu til bráðra neyðartilvika.

GPT-6 Astra fær misjafnar viðtökur hjá óháðum rannsóknarstofum

GPT-6 Astra frá OpenAI, sem kom út 3. september 2026, hefur valdið sjaldgæfum ágreiningi meðal óháðra matsaðila: einn raðar því sem besta gervigreindarlíkani heims, á meðan annar setur það á sama stall og forvera þess og á eftir keppinautnum Anthropic.

Agenti Nvidia náði 100% árangri í ARC-AGI-3 rökfræðiprófi

Nvidia birti á föstudag rannsóknir sem sýna að alhliða umboðskerfi fyrirtækisins, Agentic Variation Operators (AVO), náði fullkomnu 100% skori í ARC-AGI-3 gagnvirka rökfræðiprófinu. Niðurstaðan undirstrikar hvernig arkitektúr umboðskerfa, ekki bara geta líkana, ræður árangri í flóknum sjálfstæðum verkefnum.

OpenAI dregur til baka meðmæli með SWE-Bench Pro eftir að úttekt leiddi í ljós að 30% verkefna eru gölluð

OpenAI tilkynnti á þriðjudag að þeir væru að draga til baka meðmæli sín með SWE-Bench Pro sem áreiðanlegan mælikvarða á forritunargetu gervigreindar. Þeir vísa til innri úttektar sem leiddi í ljós að um 30% verkefna í viðmiðunarprófinu eru gölluð og…