Brockman z OpenAI varuje: Model GLM-5.3 od Z.ai zvýší kybernetické hrozby

Čínská laboratoř pro umělou inteligenci Z.ai 14. srpna oznámila, že o dva týdny odloží vydání otevřených vah svého modelu GLM-5.3 poté, co systém prokázal nečekaně silné schopnosti vyhledávat a zneužívat softwarové zranitelnosti. Rozhodnutí přitáhlo pozornost prezidenta OpenAI Grega Brockmana, který varoval, že model pravděpodobně „výrazně urychlí vývoj kybernetických hrozeb“.buttondown+2

Model, který překvapil své tvůrce

Společnost Z.ai uvedla, že GLM-5.3 byl postaven na stejné základní architektuře jako jeho předchůdce GLM-5.2, přičemž veškeré nárůsty výkonu pocházejí ze zlepšení po trénování (post-training), nikoli z úplného přetrénování. Firma do modelu přidala data o zranitelnostech v očekávání lepšího vyhledávání chyb, ale místo toho zaznamenala, že model vytváří vícestupňové řetězce exploitů, s nimiž podle svých slov vůbec nepočítala. V interním benchmarku CyberGym model GLM-5.3 odhalil známé softwarové chyby s úspěšností 84,5 % (oproti 77,2 % u předchozího modelu) a zároveň více než zdvojnásobil své skóre v oblasti zneužití (exploitů).instagram+2

Z.ai uvádí, že modely GLM již identifikovaly více než 2 400 bezpečnostních chyb, včetně více než 1 000 hodnocených jako kritické nebo s vysokou závažností. Některé z nich byly nalezeny v jádře Linuxu a v široce používaných projektech společností VMware Broadcom Inc. ↗ 1.21% a Apache. Společnost nabízí odstupňovaný přístup vybraným bezpečnostním partnerům v kontrolovaném prostředí, zatímco širší přístup k API a váhy ke stažení budou k dispozici až po dokončení bezpečnostního hodnocení.instagram+2

Poplach v odvětví

Brockman, který reagoval na kybernetický útok, jenž nedávno zasáhl OpenAI a Hugging Face, vyzval firmy k okamžitému jednání. Označil tento moment za „zlomový“ pro kybernetickou bezpečnost a poukázal na otevřené váhy modelu GLM-5.3, jejichž vydání je naplánováno na konec srpna, jako na bezprostřední hrozbu. Bezpečnostním týmům doporučil zavést agentní nástroje AI se schváleným přístupem ke kódovým bázím a infrastruktuře, počínaje systémy s nejvyšší prioritou.artificialintelligence-news+1

Varování odráží obavy, které vyjádřili generální ředitel OpenAI Sam Altman a generální ředitel společnosti Anthropic Dario Amodei. Oba již dříve označili kybernetické schopnosti svých vlastních pokročilých modelů za rostoucí riziko.timesnownews

Otevřené váhy, otevřené otázky

Společnost Z.ai prezentuje toto zpoždění jako odpovědné zveřejnění a tvrdí, že „otevřený svět nemůže mít pouze otevřené útočné plochy“, ale musí mít také „otevřený štít“. Přesto všechny dosud uváděné výsledky benchmarků pocházejí od samotné společnosti Z.ai. Vzhledem k tomu, že váhy nebyly zveřejněny, žádný nezávislý výzkumník tyto výsledky nereprodukoval. Veřejné vydání modelu, které je nyní plánováno na 28. srpna, ukáže, zda se tato tvrzení potvrdí a zda obránci dokážou držet krok s tím, co model umožňuje.remio+2