OpenAI-ის GPT-6 Astra-ს ჰალუცინაციები შემცირდა, თუმცა ის კვლავ მოწყვლადია ფარული შეტევების მიმართ

OpenAI-ის GPT-6 Astra, რომელიც 3 სექტემბერს გამოვიდა, წინამორბედ GPT-5.6 Sol-თან შედარებით ფაქტობრივი სიზუსტისა და პირდაპირი მანიპულაციებისადმი მდგრადობის თვალსაზრისით შესამჩნევ პროგრესს აჩვენებს. თუმცა, დამოუკიდებელი უსაფრთხოების ტესტები ცხადყოფს, რომ მოდელის კომპრომეტირება კვლავ შესაძლებელია მის მიერ დამუშავებულ დოკუმენტებში ჩამალული ინსტრუქციების მეშვეობით, რაც ართულებს მის გამოყენებას კორპორატიულ და აგენტურულ გარემოში.

ჰალუცინაციებისა და პირდაპირი შეტევების შემცირება

OpenAI-ის სისტემური ბარათის თანახმად, Astra ცნობილ ფაქტობრივ შეცდომებს GPT-5.6 Sol-ზე გაცილებით იშვიათად უშვებს, განსაკუთრებით დაბალი ლატენტურობისა და მსჯელობის დაბალ დონეებზე. რაც შეეხება პირდაპირ პრომპტ-ინექციებს, სადაც მომხმარებლები ცდილობენ მოდელის მანიპულირებას საკუთარი შეყვანილი მონაცემებით, Astra 99.99%-იან დაცვას უზრუნველყოფს. OpenAI ამ შედეგს GPT-Red მეთოდს მიაწერს, რომელიც წვრთნის პროცესში მოდელის გასამყარებლად ავტომატიზებულ თავდამსხმელს იყენებს.the-decoder+1

ჯეილბრეიკისადმი მდგრადობაც მსგავს ტენდენციას მიჰყვება. ბიოლოგიის, ძალადობისა და კიბერუსაფრთხოების სფეროებში მავნე პასუხებზე მიმართული ცნობილი შეტევების ფიქსირებული მონაცემთა ბაზის წინააღმდეგ, Astra შემთხვევების 91.5-დან 98.3 პროცენტამდე უარს აცხადებს თანამშრომლობაზე. თუმცა, როდესაც თავდამსხმელები სტრატეგიას მრავალჯერადი საუბრის განმავლობაში ცვლიან, დაცვის მაჩვენებელი დაახლოებით 67 პროცენტამდე ეცემა, რაც ნიშნავს, რომ დაჟინებულ თავდამსხმელს პრობლემური პასუხის მიღება ყოველ მესამე ცდაზე შეუძლია. OpenAI აღნიშნავს, რომ ეს ტესტები ჩატარდა "შიშველ" მოდელზე, სამომხმარებლო პროდუქტში არსებული უსაფრთხოების ფენების გარეშე.the-decoder

ფარული პრომპტ-ინექციები კვლავ პრობლემად რჩება

უფრო მწვავე მოწყვლადობა არაპირდაპირ პრომპტ-ინექციებში მდგომარეობს, სადაც მავნე ინსტრუქციები ჩამალულია დოკუმენტებსა თუ ვებგვერდებში, რომლებსაც მოდელი კითხულობს. უსაფრთხოების ფირმა Gray Swan-ის მიერ ჩატარებულმა გარე ტესტირებამ, რომელიც IPI Arena-ს 1,810 შერჩეულ შეტევას იყენებდა, აჩვენა, რომ 15 ცდის შემთხვევაში Astra-ს გატეხვა 8.5%-ით არის შესაძლებელი. ეს მნიშვნელოვანი გაუმჯობესებაა GPT-5.6 Sol-ის 27%-იან მაჩვენებელთან შედარებით, თუმცა ეს მაინც ნიშნავს, რომ მოდელის მოტყუება ყოველ მეთორმეტე შემთხვევაშია შესაძლებელი.the-decoder

Anthropic-ის Claude Opus 5-მა იმავე ტესტში უკეთესი შედეგი აჩვენა 4.8%-იანი მარცხის მაჩვენებლით, თუმცა არც ის იყო სრულიად დაცული.the-decoder

რატომ არის ეს მნიშვნელოვანი AI აგენტებისთვის

Astra არის OpenAI-ის პირველი მოდელი, რომელმაც მიაღწია კიბერუსაფრთხოების "კრიტიკულ" ზღვარს კომპანიის მზადყოფნის ჩარჩოს მიხედვით, რაც ნიშნავს, რომ მას შეუძლია ადამიანის დახმარების გარეშე აღმოაჩინოს და გამოიყენოს zero-day მოწყვლადობები გამყარებულ სისტემებში. ეს შესაძლებლობა, მოდელის ვებ-ბრაუზინგის, კომპიუტერის გამოყენებისა და მრავალეტაპიანი დავალებების ავტონომიურად შესრულების უნართან ერთად, არაპირდაპირი პრომპტ-ინექციების პრობლემას უფრო მნიშვნელოვანს ხდის, ვიდრე ეს ჩვეულებრივი ჩატბოტის შემთხვევაში იქნებოდა.deploymentsafety.openai+2

როგორც The Decoder აღნიშნავს, ნებისმიერი კორპორატიული უსაფრთხოების გუნდისთვის, რომელიც Astra-ს აგენტურული დანერგვისთვის განიხილავს, არაპირდაპირი ინექციების შედეგები მიუთითებს, რომ მოდელი ჯერ კიდევ არ არის საკმარისად საიმედო იმ გარემოებისთვის, სადაც მასთან არასანდო კონტენტი შეიძლება მოხვდეს.the-decoder