OpenAI-ის Astra მოდელი უსაფრთხოების მკვლევრებს გაუმჭვირვალე მსჯელობის ტექნიკით აშფოთებს

OpenAI-ის მომავალი Astra მოდელი იყენებს არქიტექტურულ ტექნიკას, რომელსაც „რეკურენტული სიღრმე“ (recurrent depth) ეწოდება. ეს ტექნიკა მოდელს საშუალებას აძლევს, პასუხის გაცემამდე ინფორმაცია ნეირონული ქსელის ერთსა და იმავე შრეებში მრავალჯერ გაატაროს. ეს ზრდის მუშაობის ეფექტურობას, თუმცა ჩრდილავს მსჯელობის პროცესს, რომელსაც უსაფრთხოების მკვლევრები მოწინავე ხელოვნური ინტელექტის სისტემების მონიტორინგისთვის იყენებენ. ამ ინფორმაციამ, რომელიც პირველად გამოცემა The Information-მა გაავრცელა, შეშფოთების ტალღა გამოიწვია ხელოვნური ინტელექტის უსაფრთხოების მკვლევრებში, რომლებიც „აზროვნების ჯაჭვის“ (chain-of-thought) მონიტორინგს მიიჩნევენ ერთ-ერთ იმ მცირერიცხოვან ინსტრუმენტად, რომლითაც შესაძლებელია იმის შემოწმება, იქცევიან თუ არა მძლავრი მოდელები ჩაფიქრებული სცენარის მიხედვით.theinformation

როგორ მუშაობს რეკურენტული სიღრმე და რატომ აშფოთებს ის მკვლევრებს

ტრადიციული მსჯელობის მოდელები თავიანთ შუალედურ აზრებს წასაკითხად ტექსტად აყალიბებენ: ეს არის „აზროვნების ჯაჭვი“, რომლის შემოწმებაც ადამიანებს შეუძლიათ. რეკურენტული სიღრმე კი, ამის ნაცვლად, აუმჯობესებს შიდა ციფრულ რეპრეზენტაციას ტრანსფორმერის ერთსა და იმავე შრეებში მრავალჯერადი გავლის გზით და ქმნის იმას, რასაც მკვლევრები „ნეირონულ ენას“ (neuralese) უწოდებენ: ეს არის შეკუმშული მათემატიკური მსჯელობა, რომელიც ადამიანის ენაზე არასოდეს ითარგმნება. გავრცელებული ინფორმაციით, ეს ტექნიკა აუმჯობესებს მათემატიკურ და პროგრამირების უნარებს და ამავდროულად ამცირებს გამოთვლით ხარჯებს, რომლებიც საჭიროა ასობით დამატებითი სიტყვისგან შემდგარი ხილული მსჯელობის შესაქმნელად.officechai+1

ამ ყველაფრის ფასი კი გამჭვირვალობაა. ხელოვნური ინტელექტის უსაფრთხოების მკვლევარმა რაიან გრინბლატმა ამგვარ გაუმჭვირვალე მსჯელობაზე გადასვლას ხელოვნური ინტელექტის უსაფრთხოებისთვის პოტენციურად ერთ-ერთი ყველაზე ცუდი მოვლენა უწოდა, რადგან ის აქრობს მოდელის აზროვნების პროცესზე დაკვირვების შესაძლებლობას, რასაც მკვლევრები მატყუარა ან არასანქცირებული ქცევის გამოსავლენად იყენებდნენ. გარი მარკუსმა Substack-ზე გამოქვეყნებულ პოსტში ამას „უსაფრთხოების წითელი ხაზი“ უწოდა და აღნიშნა, რომ მუშაობის ხარისხის გასაუმჯობესებლად „აზროვნების ჯაჭვის“ წაკითხვადობის მსხვერპლად შეწირვა „სახიფათო თამაშია“.garymarcus.substack+1

OpenAI არ ეთანხმება ამგვარ ინტერპრეტაციას

იაკუბ პაჩოცკიმ, OpenAI-ის კვლევების ხელმძღვანელმა, X-ზე უპასუხა ამ შეშფოთებას და განაცხადა, რომ სურდა „თავიდან აეცილებინა გაუგებარი რეპორტაჟებით გამოწვეული რბოლა არაკონტროლირებადობისკენ“. მისი თქმით, Astra-ს გამოთვლითი გრაფის სიღრმე GPT-4-ის ანალოგიურ მაჩვენებელთან შედარებით მაქსიმუმ ორჯერ მეტია და OpenAI თავისი პირველი მსჯელობის მოდელების შექმნის დღიდან „მუშაობს აზროვნების ჯაჭვის მონიტორინგის შესანარჩუნებლად და გამოსაყენებლად“. თუმცა, მან აღიარა, რომ აზროვნების ჯაჭვის მონიტორინგი „სენსიტიურია და, სამწუხაროდ, უარყოფითი მიმართულებით ვითარდება“.chaincatcher+1

გავრცელებული ინფორმაციით, OpenAI-მ შეზღუდა Astra-ს მიერ რეკურენტული სიღრმის გამოყენების მასშტაბები, რათა შეინარჩუნოს მსჯელობის წასაკითხი ფორმატი, და გეგმავს დამატებითი მონიტორინგის დანერგვას მოდელის გამოშვებისას. კომპანიამ 31 აგვისტოს დაადასტურა, რომ Astra არის მისი პირველი მოდელი, რომელიც აკმაყოფილებს კიბერუსაფრთხოების შესაძლებლობების „კრიტიკულ“ ზღვარს მისი მზადყოფნის ჩარჩოს (Preparedness Framework) ფარგლებში, რაც ნიშნავს, რომ მას შეუძლია დამოუკიდებლად აღმოაჩინოს და გამოიყენოს ნულოვანი დღის (zero-day) მოწყვლადობები.kucoin+2

პროგნოზი ვადაზე ადრე გამართლდა

ამ მოვლენამ განსაკუთრებული ყურადღება მიიპყრო, რადგან ის ზუსტად ასახავს სცენარს, რომელიც აღწერილია 2025 წლის აპრილში OpenAI-ის ყოფილი მკვლევრის, დანიელ კოკოტაილოსა და მისი თანაავტორების მიერ გამოქვეყნებულ ესეში „AI 2027“. ესეში ნაწინასწარმეტყველები იყო გადასვლა „ნეირონულ რეკურსიაზე“ (neuralese recurrence), რაც მოდელის მსჯელობას წასაკითხი ტექსტის მიღმა გადაიტანდა, თუმცა ეს პროგნოზი 2027 წლის მარტისთვის იყო გათვლილი და მიიჩნეოდა, რომ მის მისაღწევად ათასობით ავტომატიზებული ხელოვნური ინტელექტის მკვლევარი იქნებოდა საჭირო. კოკოტაილომ ამ სიახლეს პოსტით უპასუხა: „Holy shit f*ck“. თუ The Information-ის ინფორმაცია სიმართლეს შეესაბამება, სცენარი, რომლის შესახებაც ის აფრთხილებდა საზოგადოებას, მზა პროდუქტში მისი პროგნოზირებული ვადებიდან დაახლოებით 18 თვით ადრე გამოჩნდება.officechai