AMD köper startup som bygger in AI-modeller direkt i chip

AMD Advanced Micro Devices, Inc. ↘ 1.47% meddelade på torsdagen att de har nått en bindande överenskommelse om att förvärva Toronto-baserade Taalas, en startup som bygger in AI-modellvikter direkt i kisel för att leverera inferenshastigheter långt utöver konventionella GPU:er. De finansiella villkoren har inte offentliggjorts.bloomberg+1

Affären, som tillkännagavs vid börsens stängning, positionerar AMD för att konkurrera mer direkt med Nvidia ↘ 1.47%, som spenderade 20 miljarder dollar på ett licensavtal med Groq i december förra året för att stärka sin egen inferenskapacitet.cnbc+1

Hur Taalas fungerar

Taalas grundades 2023 av tidigare Tenstorrent-vd:n Ljubisa Bajic och andra före detta AMD-ingenjörer. Företaget använder en radikalt annorlunda metod för inferens genom att etsa in modellvikter direkt i kisel istället för att lagra dem i minnet. Resultatet är i praktiken en modellspecifik integrerad krets.eetimes+1

I februari demonstrerade Taalas sitt första testchip, HC1, tillverkat med 6nm-processen hos TSMC, Taiwan Semiconductor Manufacturing Company Limited ↘ 1.20%. Chipet körde Metas ↗ 1.02% Llama 3.1 8B-modell med 16 960 tokens per sekund, vilket är 48 gånger snabbare än Nvidias GPU:er och 8,5 gånger snabbare än Cerebras-acceleratorer vid tidpunkten för tillkännagivandet.theregister+1

Avvägningen är tydlig: när ett Taalas-chip väl har tagits i bruk kan det bara köra den modell som är inbyggd i det. Varje ändring utöver en LoRA-adapter kräver en ny produktion av chipet, även om företaget hävdar att endast två metallager behöver modifieras, en process som de siktar på att slutföra på cirka två månader.eetimes+1

AMD:s integrationsplaner

AMD planerar att kombinera Taalas-chip med sina Instinct GPU:er och Helios rack-system i en disaggregerad arkitektur, där GPU:er hanterar beräkningsintensiv bearbetning medan Taalas-acceleratorer sköter generering av tokens. Detta speglar Nvidias strategi med Groq, där specialiserade avkodningschip arbetar tillsammans med GPU:er.investing+2

"Taalas teknik och ingenjörsteam i världsklass stärker vår AI-portfölj genom att leverera differentierad inferensprestanda och effektivitet," säger Vamsi Boppana, AMD:s senior vice president för AI.investing

AMD:s vd Lisa Su sa vid en produktlansering i juli att hon är "en stor anhängare av att det inte finns en lösning som passar alla när det gäller chip," samtidigt som hon noterade att GPU:er fortfarande kommer att utgöra majoriteten av marknaden för AI-chip.cnbc

Strategisk kontext

Förvärvet fortsätter AMD:s köprusch för att bygga ut sin AI-plattform, efter köpet av ZT Systems för 4,9 miljarder dollar och Silo AI för 665 miljoner dollar under 2024. Taalas har tagit in 219 miljoner dollar i riskkapital sedan grundandet.cnbc

AMD:s största kunder för Instinct GPU:er, inklusive OpenAI, Anthropic och Meta, kan bli tidiga kandidater för implementeringar som kombinerar Taalas- och Instinct-acceleratorer. Affären förväntas slutföras under fjärde kvartalet, förutsatt regulatoriskt godkännande.betakit+1