OpenAI-მა აღმოაჩინა ოპტიმიზაცია, რომელიც დასკვნის (inference) ხარჯებს ნახევრდება

OpenAI-ის ინჟინრებმა შეიმუშავეს ოპტიმიზაცია, რომელიც შესაბამისი მოდელებისთვის დასკვნის ხარჯებს ნახევარზე მეტით ამცირებს და ChatGPT-ის ავტორიზაციის გარეშე ტრაფიკისთვის საჭირო GPU-ების რაოდენობას რამდენიმე ასეულამდე ამცირებს, იტყობინება The Information.digg+1
მეთოდი აუმჯობესებს არსებული სერვერული ინფრასტრუქტურის გამოყენებას და არ საჭიროებს ახალ აპარატურას; ეს სიახლე მაშინ გამოჩნდა, როდესაც OpenAI-მ მხოლოდ 2026 წლის პირველ კვარტალში 3,7 მილიარდი დოლარი დახარჯა.facebook+1
OpenAI-ს ოფიციალური კომენტარი არ გაუკეთებია; ეს მიღწევა ავსებს მის ახალ Jalapeño-ს დასკვნის ჩიპს, რომელიც Broadcom-თან ერთად შეიქმნა და გასულ კვირას წარადგინეს.finance.biggo+1

OpenAI-ის ინჟინრებმა თვის დასაწყისში შეიმუშავეს ოპტიმიზაცია, რომელიც ამცირებს დასკვნის ხარჯებს ნახევარზე მეტით იმ მოდელებისთვის, რომლებზეც ის გამოიყენეს, იტყობინება The Information. ეს მიღწევა, რომელიც ეფუძნება არსებული სერვერული რესურსების უფრო ეფექტურად გამოყენებას და არა დამატებითი ჩიპების დანერგვას, წარმოადგენს მნიშვნელოვან წინსვლას დიდი ენობრივი მოდელების მასშტაბურად გაშვების ეკონომიკაში.digg+1

პროგრამული და არა აპარატურული გადაწყვეტა

მას შემდეგ, რაც ოპტიმიზაცია გამოიყენეს ChatGPT-ის ავტორიზაციის გარეშე ტრაფიკზე, ამ ტრაფიკის უზრუნველსაყოფად საჭირო GPU-ების რაოდენობა რამდენიმე ასეულამდე შემცირდა, ნათქვამია ორშაბათს გავრცელებულ ინფორმაციაში. OpenAI-ის საინჟინრო გუნდმა შიდა კოლეგებს აცნობა, რომ მეთოდი ძირითადად აუმჯობესებს არსებული სერვერული ინფრასტრუქტურის გამოყენების ეფექტურობას. კომპანიას ამ განვითარებაზე საჯაროდ კომენტარი არ გაუკეთებია.odaily+2

ხარჯების შემცირება ხდება მაშინ, როდესაც OpenAI მზარდი გამოთვლითი ხარჯების წინაშე დგას. The Information-ის თანახმად, კომპანიამ მხოლოდ 2026 წლის პირველ კვარტალში 3,7 მილიარდი დოლარი დახარჯა, რაც ამ პერიოდის 5,7 მილიარდი დოლარის შემოსავლის ნახევარზე მეტია. OpenAI პარალელურად აპარატურულ გადაწყვეტილებებსაც ეძებს — გასულ კვირას კომპანიამ წარადგინა Jalapeño, მისი პირველი პერსონალიზებული დასკვნის ჩიპი, რომელიც Broadcom-თან ერთად შეიქმნა და მიზნად ისახავს ენობრივი მოდელების აპლიკაციებისთვის უკეთესი წარმადობის მიწოდებას ვატზე.techcrunch+2

ინდუსტრიული რბოლა

ეს ოპტიმიზაცია არის ხელოვნური ინტელექტის კომპანიებს შორის უფრო ფართო კონკურენციის ნაწილი, რათა შეამცირონ მომხმარებლებისთვის მოდელების მიწოდების ღირებულება. Anthropic-მა ხელი მოაწერა შეთანხმებებს Google Alphabet Inc.-ის და Broadcom-ის შემდეგი თაობის TPU სიმძლავრეების რამდენიმე გიგავატზე, რომელთა ამოქმედება მომავალი წლიდან იგეგმება. Anthropic-მა ასევე გამართა წინასწარი მოლაპარაკებები ლონდონში დაფუძნებულ სტარტაპ Fractile-თან სპეციალიზებული დასკვნის ჩიპების შეძენის შესახებ, თუმცა მათი კომერციული ხელმისაწვდომობა 2027 წლამდე არ არის მოსალოდნელი.reddit+2

დასკვნის ხარჯების შემცირებისთვის ბრძოლა გახდა ინდუსტრიის მთავარი საზრუნავი, სადაც კორპორატიული AI ბიუჯეტები ახლა დასკვნის ხარჯებით არის დომინირებული. OpenAI-ისთვის, რომელსაც 2026 წელს 17 მილიარდი დოლარის ნაღდი ფულის დახარჯვა უწევს, ნებისმიერი მეთოდი, რომელიც ასობით მილიონი მომხმარებლის მომსახურების ხარჯებს ნახევრდება, შესაძლოა მნიშვნელოვნად შეცვალოს მისი მომგებიანობისკენ მიმავალი გზა.economist+1

წყაროები (27)