Η OpenAI ανακαλύπτει βελτιστοποίηση που υποδιπλασιάζει το κόστος συμπερασμού

Μηχανικοί της OpenAI ανέπτυξαν νωρίτερα αυτόν τον μήνα μια βελτιστοποίηση που μειώνει το κόστος συμπερασμού κατά περισσότερο από το μισό για τα μοντέλα στα οποία έχει εφαρμοστεί, σύμφωνα με αναφορά του The Information. Η ανακάλυψη, η οποία προέρχεται από την επίτευξη μεγαλύτερης αποδοτικότητας των υπαρχόντων πόρων διακομιστών αντί για την ανάπτυξη πρόσθετων τσιπ, αποτελεί μια αξιοσημείωτη πρόοδο στα οικονομικά της λειτουργίας μεγάλων γλωσσικών μοντέλων σε κλίμακα.digg+1

Μια λύση λογισμικού, όχι υλικού

Αφού εφαρμόστηκε η βελτιστοποίηση στην κίνηση του ChatGPT από αποσυνδεδεμένους χρήστες, ο αριθμός των GPU που απαιτούνται για την υποστήριξη αυτής της κίνησης μειώθηκε σε μόλις μερικές εκατοντάδες, σύμφωνα με ρεπορτάζ που δημοσιεύτηκε τη Δευτέρα. Η ομάδα μηχανικών της OpenAI ενημέρωσε εσωτερικά τους συναδέλφους της ότι η μέθοδος βελτιώνει κυρίως την αποδοτικότητα αξιοποίησης της υπάρχουσας υποδομής διακομιστών. Η εταιρεία δεν έχει σχολιάσει δημόσια την εξέλιξη.odaily+2

Η μείωση του κόστους έρχεται καθώς η OpenAI αντιμετωπίζει αυξανόμενα έξοδα υπολογιστικής ισχύος. Η εταιρεία δαπάνησε 3,7 δισεκατομμύρια δολάρια μόνο το πρώτο τρίμηνο του 2026, περισσότερα από τα μισά από τα 5,7 δισεκατομμύρια δολάρια των εσόδων της για την περίοδο, σύμφωνα με το The Information. Η OpenAI επιδιώκει επίσης λύσεις υλικού παράλληλα — την περασμένη εβδομάδα, η εταιρεία παρουσίασε το Jalapeño, το πρώτο της προσαρμοσμένο τσιπ συμπερασμού που αναπτύχθηκε από κοινού με την Broadcom ↗ 4.00%, σχεδιασμένο να προσφέρει καλύτερη απόδοση ανά watt για εφαρμογές γλωσσικών μοντέλων.techcrunch+2

Ένας αγώνας σε ολόκληρο τον κλάδο

Η βελτιστοποίηση εντάσσεται σε έναν ευρύτερο ανταγωνισμό μεταξύ των εταιρειών τεχνητής νοημοσύνης για τη μείωση του κόστους παροχής μοντέλων στους χρήστες. Η Anthropic έχει υπογράψει συμφωνίες για πολλαπλά gigawatt χωρητικότητας TPU επόμενης γενιάς από την Google Alphabet Inc. ↗ 0.84% και την Broadcom, με τη χωρητικότητα να αναμένεται να τεθεί σε λειτουργία από το επόμενο έτος. Η Anthropic είχε επίσης πρώιμες συνομιλίες με τη νεοφυή επιχείρηση Fractile με έδρα το Λονδίνο σχετικά με την αγορά εξειδικευμένων τσιπ συμπερασμού, αν και αυτά δεν αναμένεται να είναι εμπορικά διαθέσιμα μέχρι το 2027 περίπου.reddit+2

Ο αγώνας για τη μείωση του κόστους συμπερασμού έχει γίνει κεντρικό μέλημα σε ολόκληρο τον κλάδο, με τους προϋπολογισμούς για την εταιρική τεχνητή νοημοσύνη να κυριαρχούνται πλέον από τις δαπάνες συμπερασμού. Για την OpenAI, η οποία προβλέπεται να εξαντλήσει 17 δισεκατομμύρια δολάρια σε μετρητά το 2026, οποιαδήποτε μέθοδος υποδιπλασιάζει το κόστος εξυπηρέτησης των εκατοντάδων εκατομμυρίων χρηστών της θα μπορούσε να αλλάξει ουσιαστικά την πορεία της προς την κερδοφορία.economist+1