benchmarking

OpenAI julkaisi vertailukohdan tekoälyn mielenterveyskeskustelujen arviointiin

OpenAI julkaisi keskiviikkona MentalHealthBench-työkalun, joka sisältää 1 215 synteettistä mielenterveyskeskustelua. Se on kehitetty yhteistyössä yli 80 laillistetun mielenterveysalan ammattilaisen kanssa mittaamaan, miten tekoälymallit vastaavat tilanteisiin arjen stressistä akuutteihin kriiseihin.

GPT-6 Astra jakaa mielipiteet riippumattomissa laboratorioissa

OpenAI:n 3. syyskuuta 2026 julkaistu GPT-6 Astra on saanut ristiriitaisen vastaanoton riippumattomilta arvioijilta: yksi pitää sitä maailman parhaana tekoälymallina, kun taas toinen sijoittaa sen samalle tasolle edeltäjänsä kanssa ja kilpailija Anthropicin taakse.

Nvidian agentti saavutti täydet pisteet ARC-AGI-3-päättelytestissä

Nvidia julkaisi perjantaina tutkimuksen, jonka mukaan sen yleiskäyttöinen agenttijärjestelmä, Agentic Variation Operators (AVO), saavutti täydet 100 % ARC-AGI-3-vuorovaikutteisessa päättelytestissä. Tulos korostaa, että agenttiarkkitehtuuri, ei vain mallin kyvykkyys, määrittää suorituskyvyn monimutkaisissa autonomisissa tehtävissä.

OpenAI vetää pois SWE-Bench Pro -suosituksensa auditoinnin paljastettua 30 % tehtävistä viallisiksi

OpenAI ilmoitti tiistaina vetävänsä pois suosituksensa SWE-Bench Prosta luotettavana tekoälyn koodauskyvyn mittarina. Syynä on sisäinen auditointi, joka totesi noin 30 % benchmarkin tehtävistä viallisiksi, sekä noin 70 % kohinakatot, jotka heikentävät sen hyödyllisyyttä huippumallien arvioinnissa.