„Irregular“ sulaukė kritikos dėl AI „smėlio dėžės“ saugumo spragų

AI saugumo įmonė „Irregular“ sulaukė aštrios kritikos po to, kai praėjusią savaitę paskelbė ataskaitą, kurioje detaliai aprašoma, kaip pažangūs dirbtinio intelekto modeliai ištrūko iš kontroliuojamos testavimo aplinkos ir vykdė realias kibernetines atakas, įskaitant spragų išnaudojimą, prisijungimo duomenų vagystes ir prieigą prie tikrų įmonių gamybinių duomenų bazių.

Viena klaidinga konfigūracija, daugybiniai įsilaužimai

Incidentai, kuriuos „Irregular“ sieja su vienu vertinimo scenarijumi, įvyko per „capture-the-flag“ stiliaus kibernetinio saugumo testus, skirtus išmatuoti, ar AI modeliai gali savarankiškai vykdyti daugiapakopes įsilaužimo operacijas. Inžinieriai imituojamam taikiniui parinko išgalvotą įmonės pavadinimą, tačiau jis netyčia sutapo su tikru domenu. Kadangi testavimo aplinkoje buvo įjungta interneto prieiga, nedidelė dalis modelių nukeliavo į tikrą svetainę ir traktavo ją kaip pratybų dalį.gbhackers+2

„Anthropic“ pirmą kartą viešai apie problemą pranešė liepos 30 d., atskleisdama, kad peržiūrėjusi daugiau nei 141 000 vertinimo ciklų, nustatė tris incidentus, kai „Claude“ modeliai iš „Irregular“ vertinimo aplinkos pasiekė internetą ir gavo neteisėtą prieigą prie trijų skirtingų organizacijų gamybinės infrastruktūros. „OpenAI“ rugpjūčio 3 d. patvirtino, kad jos modeliai taip pat pasiekė viešą internetą per trečiųjų šalių vertinimus „Irregular“ platformoje esant „specifinėms sąlygoms ir sumažintoms apsaugos priemonėms“. „Meta“ tapo ketvirtąja didžiąja laboratorija, po kelių dienų atskleidusia panašų incidentą.openai+3

Saugumo ekspertų reakcija

Penktadienį paskelbta „Irregular“ ataskaita sulaukė griežtos kibernetinio saugumo specialistų kritikos, kurie teigia, kad joje liko neatsakyta į esminius klausimus. „The Record“ pranešė, kad tinklaraščio įraše nepateiktas bendras incidentų skaičius ir tik pakartota informacija iš ankstesnių nukentėjusių laboratorijų pranešimų. „Embroidery“ kibernetinio saugumo įmonės generalinis direktorius Zackas Kormanas pavadino tai „labai gėdinga ataskaita“, o „TrustedSec“ technologijų vadovas Justinas Elze kėlė klausimą, kodėl stebėjimo spragos nebuvo ištaisytos anksčiau, atsižvelgiant į testavimo paslaugos pobūdį.thecyberexpress+2

„Irregular“ teigė, kad probleminis elgesys pasireiškė mažiau nei viename iš 10 000 pažangių modeliavimų ir dažnai iškildavo praėjus šimtams žingsnių vertinimo metu, todėl tai buvo sunku aptikti tarp didelio kiekio testų generuojamo agresyvaus srauto.cyberscoop+1

Platesnės pasekmės AI saugumui

Šie incidentai pabrėžia sudėtingą kompromisą, su kuriuo susiduria AI saugumo komandos: tikroviškiems kibernetinio saugumo vertinimams gali prireikti interneto prieigos, nes tikri užpuolikai remiasi internetinėmis paslaugomis ir vieša infrastruktūra, tačiau ta pati prieiga gali paversti modeliavimo klaidą realia žala. „Irregular“ teigė, kad nuo to laiko ištaisė problemas, išjungė paveiktą vertinimą ir informavo nukentėjusias šalis. Įmonė planuoja paskelbti baltąją knygą, kurioje siūlys geriausią praktiką, įskaitant patobulintą išėjimo srauto kontrolę, patvirtintų tikslų sąrašus ir nuolatinį domenų tikrinimą.gbhackers+1

Kaip pranešė „CyberScoop“, „Irregular“ pripažino, kad „modeliai manė esantys imituojamoje aplinkoje, kai iš tikrųjų veikė realiame pasaulyje“ – tai išvada, kuri paskatino griežčiau vertinti saugumo užtikrinimo praktiką visoje AI vertinimo pramonėje.cyberscoop