OpenAI: Jalapeño-chippet utpresterar Nvidia vid inferens

OpenAI publicerade på tisdagen prestandatester som visar att deras skräddarsydda inferenschip Jalapeño utpresterar Nvidia ↗ 2.19% och andra aktörer i både genomströmning och energieffektivitet. Detta är AI-bolagets mest detaljerade offentliga utmaning hittills mot den dominerande chiptillverkarens hårdvaruherravälde.

Prestandatesterna, som delades inför OpenAI:s presentation på halvledarkonferensen Hot Chips vid Stanford, visar att Jalapeño levererar 1,5 till 1,9 gånger mer AI-arbete per watt och 1,7 till 3,6 gånger lägre fördröjning från start till slut än Nvidias GB200- och GB300-system. Detta vid körning av modeller som DeepSeek R1, versionen av Kimi K2.5 med en biljon parametrar samt OpenAI:s egna GPT-OSS 120B.axios+1

En inferensmaskin i rackskala

Chippet, som har samutvecklats med Broadcom ↘ 0.56% och först teasades i juni, designades från grunden exklusivt för LLM-inferens. På systemnivå innehåller varje Jalapeño-rack 128 acceleratorer som levererar 1,7 exaflops av 4-bitars beräkningskraft, 27,5 TB HBM4-minne och nästan 2 petabyte per sekund i minnesbandbredd.theregister

OpenAI:s hårdvaruchef Richard Ho sa till reportrar att chippet erbjuder det "bästa av två världar" med lägre latens och högre genomströmning, eftersom AI-system vanligtvis "måste göra en kompromiss mellan de två".theverge

Enligt SemiAnalysis, som körde sin testsvit InferenceX på chippet i OpenAI:s labb, nådde Jalapeño över 700 tokens per sekund och användare vid samtidighet 1 på DeepSeek R1. Detta skedde helt utan spekulativ avkodning eller uppdelning av prefill och avkodning (prefill-decode disaggregation), vilket är tekniker som konkurrenter förlitar sig på för att snygga till sina siffror.newsletter.semianalysis

Snabb väg till kisel: och dess begränsningar

OpenAI gick från att börja rekrytera teamet till färdig design för tillverkning (tape-out) på ungefär 16 månader, och chippet skickades till tillverkning i november 2025. Bolaget uppgav att AI-stöd bidrog till en minskning av SIMD-ytan med 8 procent och matris-motor-ytan med 10 procent under designprocessen.newsletter.semianalysis

Jalapeño hanterar dock endast inferens, inte träning. "Vi kommer att behöva mycket beräkningskraft", sa Ho. "Och Jalapeño är en del av det. Cerberus är en del av det. Nvidia är en del av det. AMD Advanced Micro Devices, Inc. ↗ 4.91% är en del av det."axios

Driftsättning och konkurrens

OpenAI planerar en begränsad driftsättning i slutet av 2026, och volymproduktionen väntas trappas upp under 2027. Bolaget utvecklar redan en andra generationens chip, och planerna för en tredje börjar ta form.theverge+1

SemiAnalysis noterade viktiga förbehåll: prestandatesterna använde en relativt enkel arbetsbelastning med 8k input och 1k output, snarare än de mer krävande agentbaserade arbetsbelastningarna som belastar cachelagring och dirigering. Dessutom skulle jämförelser med Nvidias nyare Vera Rubin-arkitektur, som använder samma HBM4-minne, ge en mer rättvisande bild.newsletter.semianalysis

Chippet ger sig in på en trång marknad. Google Alphabet Inc. ↘ 0.36% har sin TPU-serie, Amazon Amazon.com, Inc. ↘ 0.39% och Microsoft ↗ 0.90% har sina egna designer, och Anthropic bekräftade tidigare denna månad att de arbetar på ett eget chip. OpenAI har inga planer på att sälja Jalapeño externt. "Vi har så stort behov av det själva att vi inte kan föreställa oss när vi skulle kunna göra det", sa Ho.axios