OpenAI: Το τσιπ Jalapeño ξεπερνά τη Nvidia στην παραγωγή συμπερασμάτων

Η OpenAI δημοσίευσε την Τρίτη αποτελέσματα δοκιμών (benchmarks) που δείχνουν ότι το δικό της τσιπ inference, Jalapeño, ξεπερνά τη Nvidia ↘ 0.59% και άλλους ανταγωνιστές τόσο σε διεκπεραιωτική ικανότητα όσο και σε ενεργειακή αποδοτικότητα. Αυτή είναι η πιο λεπτομερής δημόσια πρόκληση της εταιρείας τεχνητής νοημοσύνης μέχρι σήμερα απέναντι στην κυριαρχία του κορυφαίου κατασκευαστή ημιαγωγών.

Τα αποτελέσματα, τα οποία κοινοποιήθηκαν πριν από την παρουσίαση της OpenAI στο συνέδριο ημιαγωγών Hot Chips στο Στάνφορντ, δείχνουν ότι το Jalapeño προσφέρει 1,5 έως 1,9 φορές περισσότερο έργο AI ανά watt και 1,7 έως 3,6 φορές χαμηλότερη συνολική υστέρηση (end-to-end latency) σε σύγκριση με τα συστήματα GB200 και GB300 της Nvidia κατά την εκτέλεση μοντέλων όπως το DeepSeek R1, η έκδοση του Kimi K2.5 με 1 τρισεκατομμύριο παραμέτρους και το GPT-OSS 120B της ίδιας της OpenAI.axios+1

Μια Μηχανή Inference σε Κλίμακα Rack

Το τσιπ, το οποίο αναπτύχθηκε από κοινού με την Broadcom ↘ 0.48% και παρουσιάστηκε για πρώτη φορά ως ιδέα τον Ιούνιο, σχεδιάστηκε από το μηδέν αποκλειστικά για διεργασίες inference σε μεγάλα γλωσσικά μοντέλα (LLM). Σε επίπεδο συστήματος, κάθε rack του Jalapeño περιλαμβάνει 128 επιταχυντές που αποδίδουν 1,7 exaFLOPS υπολογιστικής ισχύος 4-bit, 27,5 TB μνήμης HBM4 και σχεδόν 2 petabytes ανά δευτερόλεπτο εύρους ζώνης μνήμης.theregister

Ο αντιπρόεδρος υλικού (hardware) της OpenAI, Richard Ho, δήλωσε στους δημοσιογράφους ότι το τσιπ προσφέρει "το καλύτερο και από τους δύο κόσμους" με χαμηλότερη υστέρηση και υψηλότερη διεκπεραιωτική ικανότητα, καθώς τα συστήματα AI συνήθως "πρέπει να κάνουν έναν συμβιβασμό ανάμεσα στα δύο".theverge

Σύμφωνα με τη SemiAnalysis, η οποία έτρεξε τη σουίτα δοκιμών InferenceX στο τσιπ στα εργαστήρια της OpenAI, το Jalapeño πέτυχε πάνω από 700 tokens ανά δευτερόλεπτο ανά χρήστη με ταυτόχρονη εκτέλεση (concurrency) 1 στο DeepSeek R1, χωρίς τη χρήση speculative decoding ή prefill-decode disaggregation, τεχνικές στις οποίες βασίζονται οι ανταγωνιστές για να βελτιώσουν τα νούμερά τους.newsletter.semianalysis

Ταχύτητα στην Παραγωγή: Οι Περιορισμοί της

Η OpenAI χρειάστηκε περίπου 16 μήνες από την αρχική στελέχωση της ομάδας μέχρι την ολοκλήρωση του σχεδιασμού για παραγωγή (tape-out), με το τσιπ να ολοκληρώνεται τον Νοέμβριο του 2025. Η εταιρεία δήλωσε ότι η χρήση τεχνητής νοημοσύνης συνέβαλε στη μείωση της επιφάνειας SIMD κατά 8% και της επιφάνειας της μηχανής πινάκων (matrix-engine) κατά 10% κατά τη διάρκεια του σχεδιασμού.newsletter.semianalysis

Ωστόσο, το Jalapeño διαχειρίζεται μόνο διεργασίες inference και όχι εκπαίδευση. "Θα χρειαστούμε πολλή υπολογιστική ισχύ", δήλωσε ο Ho. "Και το Jalapeño είναι μέρος αυτού. Το Cerberus είναι μέρος αυτού. Η Nvidia είναι μέρος αυτού. Η AMD Advanced Micro Devices, Inc. ↗ 1.74% είναι μέρος αυτού".axios

Εγκατάσταση και Ανταγωνισμός

Η OpenAI σχεδιάζει περιορισμένη εγκατάσταση έως τα τέλη του 2026, με τη μαζική παραγωγή να κλιμακώνεται εντός του 2027. Η εταιρεία αναπτύσσει ήδη ένα τσιπ δεύτερης γενιάς, ενώ διαμορφώνονται και τα σχέδια για ένα τρίτο.theverge+1

Η SemiAnalysis σημείωσε ορισμένες σημαντικές επιφυλάξεις: οι δοκιμές χρησιμοποίησαν ένα σχετικά απλό φορτίο εργασίας με είσοδο 8k και έξοδο 1k, αντί για τα πιο απαιτητικά φορτία πρακτόρων (agentic workloads) που επιβαρύνουν την προσωρινή μνήμη (caching) και τη δρομολόγηση (routing). Επίσης, μια σύγκριση με τη νεότερη αρχιτεκτονική Vera Rubin της Nvidia, η οποία χρησιμοποιεί την ίδια μνήμη HBM4, θα ήταν πιο δίκαιη.newsletter.semianalysis

Το τσιπ εισέρχεται σε μια ήδη κορεσμένη αγορά. Η Google Alphabet Inc. ↘ 1.08% διαθέτει τη σειρά TPU, η Amazon Amazon.com, Inc. ↘ 0.95% και η Microsoft ↗ 0.66% έχουν τα δικά τους σχέδια, ενώ η Anthropic επιβεβαίωσε νωρίτερα αυτόν τον μήνα ότι αναπτύσσει το δικό της εσωτερικό τσιπ. Η OpenAI δεν σχεδιάζει να πουλήσει το Jalapeño σε τρίτους. "Έχουμε τόσο μεγάλη ανάγκη για αυτό, που δεν μπορούμε να φανταστούμε πότε θα ήμασταν σε θέση να το κάνουμε", δήλωσε ο Ho.axios