benchmarking

Společnost OpenAI v úterý oznámila, že stahuje své doporučení pro SWE-Bench Pro jako spolehlivé měřítko schopností AI v programování. Jako důvod uvedla interní audit, který zjistil, že přibližně 30 % úloh benchmarku je nefunkčních a že existuje „strop šumu“ kolem…