DeepSeek opnar á gervigreindarvél sem á að lækka rekstrarkostnað

Á þriðjudaginn, 20. október, gaf kínverski gervigreindarþróunaraðilinn DeepSeek út DeepInfer, hugbúnaðinn sem fyrirtækið notar til að keyra líkön sín í stórum stíl, sem opinn hugbúnað. Fyrirtækið kynnti útgáfuna sem leið til að lækka kostnað við rekstur stórra gervigreindarkerfa. Bloomberg greindi frá því að þetta gæti gert tækni DeepSeek ódýrari og auðveldari fyrir fyrirtæki í rekstri. DeepInfer er hugbúnaður sem gerir líkön fyrirtækisins hraðvirkari og nýtir tölvuauðlindir á skilvirkari hátt.bloomberg.com

DeepSeek sagði að DeepInfer knýi DeepSeek-V4.1-Flash „í stórum stíl með mikilli afkastagetu og lítilli leynd.“ Þeir sögðu einnig að þeir væru að deila framleiðsluhugbúnaði sínum „til að hjálpa samfélaginu að lækka tölvukostnað, draga úr orkunotkun og gera gervigreind aðgengilegri,“ samkvæmt tilkynningu þeirra á X. Fyrirtækið bætti við að ályktunarkóði fyrir framtíðarlíkön og síðari hagræðingar verði birtar í sama gagnasafni.alphasignal.ai+1

Hvað er í útgáfunni

GitHub-gagnasafnið kallar DeepInfer „afkastamikinn ályktunarramma sem knýr framleiðsluþjónustu DeepSeek í stórum stíl.“ Fyrsta útgáfan býður upp á ótengda ályktun og styður DeepSeek-V4.1-Flash. Kóðinn er undir Apache 2.0 leyfi. Hann inniheldur sérsniðna kjarna DeepSeek, svo sem FlashMLA, DeepGEMM og DeepEP, ásamt DSpark, lotu-óháðri ályktun og skipulögðu úttaki. Ramminn er byggður á opna vLLM verkefninu.alphasignal.ai+1

DeepSeek gaf einnig út deepseek-recipe, íhlut sem breytir API-beiðnum í leiðbeiningar fyrir líkanið og greinir úttakið. Hann passar við vinnslurökfræði opinbera API-viðmóts DeepSeek, svo að sjálfkeyrandi útfærslur hegða sér eins og eigin þjónusta fyrirtækisins.tech.ifeng.com

Nvidia og Huawei vélbúnaður

DeepInfer styður Nvidia SM100 GPU og Huawei Ascend 950 NPU. Í síðustu viku sagði DeepSeek að þeir ætli að forþjálfa líkön á sömu Huawei flögu fyrir lok árs 2026. Kínverskir fjölmiðlar greindu frá því að eitt DeepSeek-klasi vinni úr 155 trilljónum tákna á dag. Sú tala hefur ekki verið óháð staðfest.aiweekly.co+2

Tilkynningin kom þremur dögum eftir að DeepSeek uppfærði líkanið í V4.1-Flash-1017, með óbreyttu API-verði. Hualong Securities sagði að hraðar uppfærslur DeepSeek styðji við rök um lækkandi kostnað og vaxandi eftirspurn eftir ályktunartölvum í Kína.stcn.com

Hvað vantar

Útgáfan er ekki fullbúið þjónustukerfi. Samkvæmt README-skránni inniheldur hún ekki KV-skyndiminni, aðskilnað á forvinnslu og afkóðun, eða álagsdreifingu á milli afrita. Fyrirtæki sem vilja reka framleiðsluþjónustu þurfa að byggja þá innviði sjálf. Það gerir DeepInfer gagnlegastan fyrir teymi sem þegar reka dreifð ályktunarkerfi.fourweekmba.com+1

Í tilkynningu sinni á kínversku sagði DeepSeek að þeir vonist til þess að útgáfan muni hjálpa verktökum og fyrirtækjum að byggja upp einkareknar og opinberar skýjaútfærslur á skilvirkan hátt, „svo að gervigreind geti náð til breiðari hóps á lægra verði“.sina.cn