AMD kupuje startup, který integruje modely umělé inteligence přímo do čipů

Společnost Advanced Micro Devices, Inc. ↘ 1.47% ve čtvrtek oznámila, že dosáhla konečné dohody o akvizici torontského startupu Taalas, který integruje váhy modelů umělé inteligence přímo do křemíku, aby dosáhl rychlosti inference daleko přesahující běžné grafické procesory. Finanční podmínky nebyly zveřejněny.bloomberg+1

Tato dohoda, oznámená po uzavření trhu, staví AMD do pozice přímější konkurence vůči společnosti Nvidia ↘ 1.47%, která loni v prosinci vynaložila 20 miliard dolarů na licenční smlouvu se společností Groq, aby posílila své vlastní možnosti v oblasti inference.cnbc+1

Jak Taalas funguje

Startup Taalas, založený v roce 2023 bývalým generálním ředitelem společnosti Tenstorrent Ljubisou Bajicem a dalšími inženýry z AMD, volí radikálně odlišný přístup k inferenci tím, že váhy modelu vyleptává přímo do křemíku, místo aby je ukládal do paměti. Výsledkem je v podstatě integrovaný obvod specifický pro daný model.eetimes+1

V únoru společnost Taalas předvedla svůj první testovací čip HC1, vyrobený 6nm procesem společnosti Taiwan Semiconductor Manufacturing Company Limited ↘ 1.20%. Čip obsluhoval model Llama 3.1 8B od společnosti Meta ↗ 1.02% rychlostí 16 960 tokenů za sekundu, což je 48krát rychleji než grafické procesory Nvidia a 8,5krát rychleji než akcelerátory Cerebras v době tohoto oznámení.theregister+1

Kompromis je značný: po nasazení může čip Taalas spustit pouze model, který je v něm napevno zabudován. Jakákoli změna nad rámec adaptéru LoRA vyžaduje novou výrobu čipu, ačkoliv společnost uvádí, že je třeba upravit pouze dvě kovové vrstvy, což je proces, který chce dokončit přibližně za dva měsíce.eetimes+1

Plány integrace AMD

AMD plánuje propojit čipy Taalas se svými grafickými procesory Instinct a systémy Helios v rámci modulární architektury, kde grafické procesory zvládnou výpočetně náročné zpracování promptů, zatímco akcelerátory Taalas budou řídit generování tokenů. To zrcadlí přístup společnosti Nvidia se systémem Groq, kde specializované dekódovací čipy pracují společně s grafickými procesory.investing+2

"Technologie společnosti Taalas a její špičkový inženýrský tým posilují naše portfolio v oblasti AI tím, že přinášejí diferencovaný výkon a efektivitu inference," uvedl Vamsi Boppana, senior viceprezident AMD pro AI.investing

Generální ředitelka AMD Lisa Su při uvedení produktu na trh v červenci uvedla, že "pevně věří, že v oblasti čipů neexistuje univerzální řešení", přičemž poznamenala, že grafické procesory budou i nadále tvořit většinu trhu s čipy pro AI.cnbc

Strategický kontext

Tato akvizice pokračuje v nákupní horečce AMD s cílem vybudovat svou platformu pro AI, která navazuje na nákup společnosti ZT Systems za 4,9 miliardy dolarů a akvizici Silo AI za 665 milionů dolarů v roce 2024. Od svého založení získala společnost Taalas rizikový kapitál ve výši 219 milionů dolarů.cnbc

Hlavní zákazníci grafických procesorů Instinct od AMD, včetně společností OpenAI, Anthropic a Meta, by mohli být prvními kandidáty pro nasazení systémů kombinujících akcelerátory Taalas a Instinct. Očekává se, že dohoda bude dokončena ve čtvrtém čtvrtletí, podléhá schválení regulačními orgány.betakit+1