OpenAI: Jalapeño-brikken utkonkurrerer Nvidia på inferens

OpenAI la tirsdag frem ytelsestester som viser at selskapets spesialutviklede inferensbrikke, Jalapeño, utkonkurrerer Nvidia ↗ 0.90% og andre på både gjennomstrømming og energieffektivitet. Dette markerer AI-selskapets hittil mest detaljerte offentlige utfordring av den dominerende brikkeprodusentens maskinvarehegemoni.

Ytelsestestene, som ble delt i forkant av OpenAIs presentasjon på halvleder-konferansen Hot Chips ved Stanford, viser at Jalapeño leverer 1,5 til 1,9 ganger mer AI-arbeid per watt, og 1,7 til 3,6 ganger lavere forsinkelse fra start til slutt enn Nvidias GB200- og GB300-systemer. Testene ble kjørt på modeller som DeepSeek R1, versjonen av Kimi K2.5 med én billion parametere, og OpenAIs egen GPT-OSS 120B.axios+1

En inferensmaskin i rack-skala

Brikken er utviklet sammen med Broadcom ↗ 4.00% og ble først hintet om i juni. Den er designet helt fra bunnen av utelukkende for LLM-inferens. På systemnivå inneholder hvert Jalapeño-rack 128 akseleratorer som leverer 1,7 exaFLOPS med 4-bits beregninger, 27,5 TB HBM4-minne og nesten 2 petabyte per sekund i minnebåndbredde.theregister

OpenAIs direktør for maskinvare, Richard Ho, uttalte til journalister at brikken tilbyr «det beste fra to verdener» med lavere forsinkelse og høyere gjennomstrømming, ettersom AI-systemer vanligvis «må inngå et kompromiss mellom de to».theverge

Ifølge SemiAnalysis, som kjørte sin testsuite InferenceX på brikken i OpenAIs laboratorier, oppnådde Jalapeño over 700 tokens per sekund per bruker ved samtidighet 1 på DeepSeek R1. Dette skjedde helt uten spekulativ dekoding eller oppsplitting av prefill og dekoding, som er teknikker konkurrentene er avhengige av for å pynte på tallene sine.newsletter.semianalysis

Rask vei til silisium: og dets begrensninger

OpenAI gikk fra den første ansettelsen i teamet til ferdig design for produksjon (tape-out) på rundt 16 måneder, og brikken ble sendt til produksjon i november 2025. Selskapet opplyser at AI-assistanse bidro til en reduksjon på 8 prosent i SIMD-arealet og en reduksjon på 10 prosent i matrisemotor-arealet under designprosessen.newsletter.semianalysis

Likevel håndterer Jalapeño kun inferens, ikke trening. «Vi kommer til å trenge mye datakraft», sa Ho. «Og Jalapeño er en del av det. Cerberus er en del av det. Nvidia er en del av det. AMD Advanced Micro Devices, Inc. ↗ 5.45% er en del av det.»axios

Utrulling og konkurranse

OpenAI planlegger en begrenset utrulling innen utgangen av 2026, med en opptrapping til volumproduksjon i løpet av 2027. Selskapet er allerede i gang med å utvikle en andregenerasjons brikke, og planene for en tredje er i ferd med å ta form.theverge+1

SemiAnalysis påpekte viktige forbehold: Ytelsestestene brukte en relativt enkel arbeidsmengde med 8k-input og 1k-output, i stedet for de mer krevende agent-baserte oppgavene som belaster hurtiglagring og ruting. I tillegg ville en sammenligning med Nvidias nyere Vera Rubin-arkitektur, som bruker det samme HBM4-minnet, gitt en mer rettferdig sammenligning.newsletter.semianalysis

Brikken går inn i et tøft marked. Google Alphabet Inc. ↗ 0.84% har sin TPU-serie, Amazon Amazon.com, Inc. ↗ 1.61% og Microsoft ↘ 0.24% har sine egne design, og Anthropic bekreftet tidligere denne måneden at de jobber med en egen brikke. OpenAI har ingen planer om å selge Jalapeño eksternt. «Vi har så stort behov for den selv at vi ikke kan forestille oss når vi skulle hatt mulighet til det», sa Ho.axios