benchmarking

OpenAI-ն թողարկել է AI-ի հոգեկան առողջության պատասխանները գնահատող չափանիշ

Չորեքշաբթի օրը OpenAI-ն թողարկեց MentalHealthBench-ը՝ հոգեկան առողջության 1,215 սինթետիկ զրույցներից բաղկացած բաց չափանիշ, որը ստեղծվել է ավելի քան 80 լիցենզավորված մասնագետների հետ՝ չափելու համար, թե ինչպես են AI մոդելները արձագանքում տարբեր սցենարների՝ ամենօրյա սթրեսից մինչև հրատապ ճգնաժամեր:

GPT-6 Astra-ն ստացել է հակասական գնահատականներ անկախ լաբորատորիաների կողմից

2026 թվականի սեպտեմբերի 3-ին թողարկված OpenAI-ի GPT-6 Astra-ն հակասական կարծիքներ է առաջացրել անկախ գնահատողների շրջանում. մեկ վարկանիշային աղյուսակ այն դասում է աշխարհի լավագույն AI մոդելների շարքին, իսկ մյուսը այն համարում է իր նախորդին հավասար և մրցակից Anthropic-ից հետ մնացող։

Nvidia-ի գործակալը 100% արդյունք է գրանցել ARC-AGI-3 տրամաբանական թեստում

Ուրբաթ օրը Nvidia-ն հրապարակեց հետազոտություն, որը ցույց է տալիս, որ իր ընդհանուր նշանակության գործակալային համակարգը՝ Agentic Variation Operators (AVO), ARC-AGI-3 ինտերակտիվ տրամաբանական թեստում գրանցել է 100% արդյունք։ Սա ընդգծում է, որ բարդ ինքնավար առաջադրանքների կատարման հարցում որոշիչ է ոչ միայն…

OpenAI-ը հետ է կանչում SWE-Bench Pro-ի իր առաջարկությունը՝ աուդիտի արդյունքում խնդիրների 30%-ի անսարք լինելը պարզելուց հետո

OpenAI-ը երեքշաբթի օրը հայտարարեց, որ հետ է կանչում SWE-Bench Pro-ի իր առաջարկությունը՝ որպես AI-ի ծրագրավորման կարողությունների հուսալի չափանիշ՝ վկայակոչելով ներքին աուդիտը, որը պարզել է, որ բենչմարկի առաջադրանքների մոտ 30%-ը անսարք են, իսկ մոտ 70%-ի «աղմուկի շեմը» խաթարում է դրա օգտակարությունը…