Z.ai hevder ny åpen kildekode-modell utfordrer Mythos 5 i å finne programvarefeil

Den kinesiske AI-oppstarten Z.ai kunngjorde fredag at deres åpen kildekode-modell GLM-5.3 oppnådde 84,5 % på CyberGym-testen for sårbarhetsdeteksjon, noe som er en knepen seier over de 83,8 % som ble rapportert for Anthropic sin begrensede Mythos 5-modell. Resultatene, som ikke er uavhengig verifisert, markerer det siste forsøket fra et kinesisk AI-selskap på å utfordre amerikansk dominans innen avansert AI.reuters

Sterk på deteksjon, svakere på utnyttelse

Mens GLM-5.3 knep seg foran når det gjelder å identifisere programvarefeil, lå den bak Mythos 5 i å konvertere disse funnene til fungerende utnyttelser, en standardkomponent i defensiv sikkerhetsforskning. Z.ai rapporterte at modellen fikk 54,4 % på ExploitBench-testen, sammenlignet med 78,0 % for Mythos 5. I en tidsbegrenset øvelse fullførte GLM-5.3 105 angrepsutviklingsoppgaver på to timer, mot 181 for Anthropic sin modell.reuters

Utover cybersikkerhet oppnådde modellen med 743 milliarder parametere den høyeste poengsummen blant åpen kildekode-modeller på Terminal-Bench 3.0 med 28,3, foran Moonshot AI sin Kimi K3, og fikk 66,9 på DeepSWE 1.1, ifølge en teknisk rapport fra Zhipu AI, selskapet bak Z.ai-merkevaren. Zhipu hevder at GLM-5.3 sine kode- og agentegenskaper nærmer seg Anthropic sin Claude Fable 5.chinadaily

Åpen kildekode mot begrenset tilgang

Z.ai presenterte lanseringen som en direkte utfordring til den lukkede tilnærmingen til Mythos, en versjon av Claude Fable 5 med cybersikkerhetsbeskyttelse fjernet, som Anthropic kun gjør tilgjengelig for godkjente organisasjoner. Z.ai argumenterte for at avanserte cybersikkerhetsverktøy bør være tilgjengelige for utviklere av åpen kildekode og mindre sikkerhetsteam, fremfor å kontrolleres av noen få tilbydere av lukkede modeller.reuters

Selskapet opplyser at de planlegger å slippe modellen offentlig om omtrent to uker etter fullførte sikkerhetsvurderinger. De mest sensitive cybersikkerhetsfunksjonene vil kun være tilgjengelige gjennom et program for "betrodd tilgang" for verifiserte brukere. Z.ai annonserte også et "Open Source Shield"-initiativ for å revidere åpen kildekode-prosjekter og gi tilgang til defensive modeller.devdiscourse+1

Sikkerhetsbekymringer vedvarer

Kritikere har påpekt at sikkerhetstiltak blir vanskeligere å håndheve når modellvekter slippes offentlig, noe som gjør det mulig for andre å endre eller kombinere modellen med eksterne verktøy. Z.ai uttalte at de har lagt til beskyttelse, inkludert systemer for å filtrere risikable forespørsler, overvåke utdata og trene modellen til å avvise ondsinnede oppgaver.reuters

Z.ai er ikke det første kinesiske firmaet som hevder å ha Mythos-nivå kapasitet. Cybersikkerhetsselskapet 360 sa i juni at deres Tulongfeng-system hadde oppnådd tilsvarende ytelse ved å kombinere AI-modeller med sikkerhetsdata og automatiserte verktøy, selv om disse påstandene heller ikke var verifisert. GLM-5.3 bygger på den globale suksessen til forgjengeren GLM-5.2, som ble populær blant utenlandske utviklere for å tilby egenskaper som nærmer seg ledende amerikanske modeller til en lavere kostnad.reuters