Google birtir TPU Raiden í opnum koda til að veita Nvidia keppni

Google Alphabet Inc. ↘ 0.88% hefur gefið út TPU Raiden í opnum koda, en það er safn til bjartsýnisstýringar á gervigreindarályktunum sem sér um gagnaflutning á KV-skyndiminni milli flaga við keyrslu stórra málmálslíkana. Kóðasafnið er aðgengilegt á GitHub undir Apache-2.0 leyfi, sem gefur skýrt merki um að Google sé reiðubúið að opna innviði sem lengi voru taldir einkamál TPU-vistkerfisins.officechai

SemiAnalysis vakti fyrst athygli á útgáfunni og benti á að Raiden sitji á sama lagi í ályktunarstakkanum og NIXL-safn NVIDIA ↗ 2.27%, en það býður upp á flutning á KV-skyndiminni milli forfyllingar- og afkóðunartilvika ásamt grunnfeiningum fyrir hleðslu á minni.x+1

Hvað Raiden gerir

Nútíma ályktun í stórum stíl skiptir verkinu í tvo áfanga: forfyllingu, sem vinnur úr inntaksfyrirmælunum, og afkóðun, sem býr til tákn eitt af öðru. Að keyra hvort tveggja á sömu flögunni er óskilvirkt, þannig að framleiðslukerfi aðskilja verkin á milli ólíkra vélbúnaðarhópa. Þegar forfyllingu lýkur býr hún til KV-skyndiminni, sem er vinnsluminni líkansins fyrir inntakið, og það verður að flytja hratt yfir á afkóðunarflögur.officechai

Raiden stýrir þeim flutningi. Samkvæmt skjölum í kóðasafninu inniheldur það einingar fyrir beinan flutning milli flaga innan sömu vélar, flutning milli sýndarvéla yfir netið og flutning á minnisblokkum úr TPU-minni yfir í vinnsluminni hýsils. Deilt minnisstilling gerir það að verkum að skyndiminnið varðveitist í DRAM jafnvel þótt líkansþjónninn endurræsist, sem nýtist vel við venjulegar uppfærslur í rekstri.officechai

Í skjölum Google kemur fram að verkefnið sé enn í virkri þróun og ekki enn ætlað til almennrar rekstrarnotkunar.

Stefnumótandi samhengi

Google hefur aldrei selt TPU-flögur sem sjálfstæðan vélbúnað, en viðskiptavinafloti fyrirtækisins fyrir sérhönnuðu flögurnar hefur stækkað. Anthropic hefur tryggt sér aðgang að einni milljón TPU-flaga og OpenAI er farið að nota TPU-flögur Google fyrir hluta af sinni starfsemi.officechai

Hver þessara viðskiptavina þarfnast hugbúnaðarverkfæra sem eru sambærileg við það sem hefur byggst upp í kringum NVIDIA GPU-flögur. Umhverfi á borð við vLLM og SGLang eru samþætt NIXL á djúpan hátt. Ef Raiden nær svipaðri samþættingu gætu fyrirtæki sem þegar keyra NVIDIA-byggðar aðskildar þjónustur beint vinnuálagi á TPU-flögur með minni verkfræðilegum kostnaði.officechai

Tímasetningin skarast einnig við eigin sókn NVIDIA í opnum koda. Þann 4. ágúst tilkynnti NVIDIA að það myndi opna cuFile API-viðmót sín og geymslustakka í gegnum ný samtök á GitHub, þar sem Google, Intel ↗ 1.84% og Meta ↗ 0.37% eru meðal fyrstu viðhaldsaðila.igorslab

Vistkerfiskapphlaup

Þessar hliðstæðu aðgerðir benda til breytinga í allri atvinnugreininni í átt til þess að opna innviði fyrir gervigreindarályktanir sem birgjar héldu áður lokuðum. Fyrir Google er dæmið einfalt: opin verkfæri lækka þröskuldinn fyrir utanaðkomandi teymi til að taka TPU-flögur í notkun fyrir framleiðsluvinnuálag í stað þess að velja sjálfgefið NVIDIA-stakkann einfaldlega vegna þess að hann er betur skjalfestur í opnu umhverfi.officechai

NVIDIA hefur áður haldið því fram að GPU-flögur þeirra séu enn kynslóð á undan og séu eini pallurinn sem keyrir öll gervigreindarlíkön hvar sem tölvuvinnsla fer fram. Hvort sú staða haldist þegar Google heldur áfram að opna hluta af sínum stakka er aðalspurningin fyrir fyrirtæki sem velja hvar eigi að keyra ályktanir í stórum stíl.officechai