Հետազոտողները շրջանցում են GitHub Copilot-ի անվտանգությունը աշխատանքային հոսքի մակարդակի ջեյլբրեյքով

Վերջին շաբաթների ընթացքում հետազոտական արդյունքների համախմբումը բացահայտել է նոր խոցելիություններ խոշոր լեզվական մոդելների անվտանգության համակարգերում, ինչը դրդել է AI ընկերությունների հրատապ արձագանքին և, մի դեպքում, աննախադեպ կառավարական միջամտության: Բացահայտումներն ընդգծում են այն, ինչ դաշնային գիտնականներն այժմ անվանում են մաթեմատիկական անխուսափելիություն. պաշտպանիչ միջոցների ոչ մի ֆիքսված հավաքածու չի կարող արգելափակել յուրաքանչյուր հակառակորդ հարձակում:

Աշխատանքային հոսքի ջեյլբրեյքներ և Nullspace Steering

Alan Turing Institute-ի հետազոտողները չորեքշաբթի օրը բացահայտեցին "աշխատանքային հոսքի մակարդակի ջեյլբրեյք", որը հաղթում է Microsoft Corporation ↗ 0.27%-ի GitHub Copilot-ի անվտանգության ֆիլտրերը՝ վնասակար հարցումները տարածելով անվնաս թվացող կոդավորման քայլերի հաջորդականության մեջ: Ուղղակի զրույցում օգնականը մերժել է 816 վնասակար հուշումներից գրեթե բոլորը. աշխատանքային հոսքի մեջ տարածվելիս այն ավարտել է յուրաքանչյուրը: Բացահայտումն ընդգծում է կույր կետը հուշում-առ-հուշում անվտանգության թեստավորման մեջ, որը ներկայիս արդյունաբերական ստանդարտն է:thenextweb

Առանձին-առանձին, ICLR 2026-ին ներկայացված հոդվածը ներկայացրեց Head-Masked Nullspace Steering-ը կամ HMNS-ը՝ մի տեխնիկա, որը լռեցնում է մոդելի ուշադրության շերտերում առկա "անվտանգության գլուխները" և հրահանգներ է ներարկում դրանց կույր կետի մեջ: Մեթոդը հարձակման հաջողության ցուցանիշներ է գրանցել 96%-ից 99% բենչմարկների վրա և մնացել է արդյունավետ գոյություն ունեցող պաշտպանությունների դեմ, ինչպիսին է SafeDecoding-ը:reddit+2

NIST-ը հայտարարում է, որ կատարյալ անվտանգությունն անհնար է

Հունիսի 9-ին Ստանդարտների և տեխնոլոգիաների ազգային ինստիտուտը հրապարակեց ավագ գիտնական Ապոստոլ Վասիլևի կողմից գրախոսված ապացույցը, որը պնդում է, որ ոչ մի վերջավոր պաշտպանիչ համակարգ չի կարող լինել համընդհանուր կայուն հարմարվողական հակառակորդ հուշումների դեմ: "Այստեղ գործում է Գյոդելի տրամաբանությունը", – ասել է Վասիլևը: "Դուք երբեք չեք կարող պնդել, որ կայուն եք բոլոր հակառակորդ հուշումների հարձակումների դեմ": NIST-ը խորհուրդ է տվել անցնել շարունակական "կարմիր թիմային" աշխատանքի, կանոնավոր թարմացումների և գործառնական կայունության, այլ ոչ թե անվտանգությունը դիտարկել որպես ավարտված գործառույթ:nist+1

Ընկերությունները շտապում են արձագանքել

Գործնական հետևանքները արագ եկան: Այն բանից հետո, երբ Amazon-ի հետազոտողները ջեյլբրեյք արեցին Anthropic-ի Claude Fable 5-ը հունիսի 9-ի թողարկումից անմիջապես հետո, ԱՄՆ առևտրի նախարարությունը սահմանեց արտահանման վերահսկողություն, որը ստիպեց Anthropic-ին գլոբալ մասշտաբով անջատել մոդելը գրեթե երեք շաբաթով: Anthropic-ը հուլիսի 1-ին վերագործարկեց Fable 5-ը անվտանգության նոր դասակարգիչով, որը, ըստ նրանց, արգելափակում է հաղորդված տեխնիկան փորձերի 99%-ից ավելի դեպքերում:thehackernews+2

OpenAI-ն ապրիլին բախվեց իր սեփական հաշվեհարդարին, երբ Մեծ Բրիտանիայի AI անվտանգության ինստիտուտը գտավ GPT-5.5-ի համընդհանուր ջեյլբրեյք՝ փորձագիտական "կարմիր թիմային" աշխատանքի վեց ժամվա ընթացքում: Ընկերության GPT-5.6-ը, որը թողարկվել է այս շաբաթ, ներառում է այն, ինչ նրանք անվանում են իրենց "ամենակայուն" պաշտպանությունը՝ ջեյլբրեյքի փորձերը հայտնաբերելու դասակարգիչով և խորքային պաշտպանության ռազմավարություններով: Google Alphabet Inc. ↘ 0.69%-ը առանձին հեռացրեց Chrome-ի 18 ընդլայնումներ, որոնք կապված էին չաթ-բոտի ջեյլբրեյքի ռիսկերի հետ այն բանից հետո, երբ Palo Alto Networks-ը դրանք նշեց:aisi+4

Հետազոտողների շրջանում ձևավորվող կոնսենսուսը հստակ է. ջեյլբրեյքները AI համակարգերի մշտական հատկանիշ են, այլ ոչ թե սխալ, որը կուղղվի:resilientcyber