DeepSeek uvolnil zdrojový kód svého AI enginu, který má snížit provozní náklady

V úterý 20. října uvolnila čínská společnost DeepSeek jako open-source svůj interní software DeepInfer, který využívá k provozu svých modelů ve velkém měřítku. Firma tento krok prezentuje jako způsob, jak snížit náklady na provoz rozsáhlých systémů umělé inteligence. Podle agentury Bloomberg by tento krok mohl učinit technologii DeepSeek levnější a dostupnější pro firemní nasazení. DeepInfer je software, díky němuž modely společnosti běží rychleji a efektivněji využívají výpočetní zdroje.bloomberg.com

DeepSeek uvedl, že DeepInfer pohání model DeepSeek-V4.1-Flash „ve velkém měřítku s vysokou propustností a nízkou latencí“. Podle oznámení na síti X společnost sdílí svůj produkční stack, „aby pomohla komunitě snížit výpočetní náklady, omezit spotřebu energie a učinit AI dostupnější“. Firma dodala, že inferenční kód pro budoucí modely a následné optimalizace budou publikovány ve stejném repozitáři.alphasignal.ai+1

Co balíček obsahuje

Repozitář na GitHubu označuje DeepInfer za „vysoce výkonný inferenční framework, který pohání produkční služby DeepSeek ve velkém měřítku“. První verze nabízí offline inferenci a podporuje model DeepSeek-V4.1-Flash. Kód je licencován pod Apache 2.0. Obsahuje vlastní jádra DeepSeek, jako jsou FlashMLA, DeepGEMM a DeepEP, spolu se spekulativním dekódováním DSpark, dávkově invariantní inferencí a strukturovaným výstupem. Framework je postaven na open-source projektu vLLM.alphasignal.ai+1

DeepSeek také vydal komponentu deepseek-recipe, která převádí API požadavky na prompty pro model a analyzuje výstup. Odpovídá logice zpracování oficiálního API DeepSeek, takže self-hosted nasazení se chovají stejně jako vlastní služba společnosti.tech.ifeng.com

Hardware Nvidia a Huawei

DeepInfer podporuje GPU Nvidia SM100 a NPU Huawei Ascend 950. Minulý týden DeepSeek oznámil, že plánuje do konce roku 2026 předtrénovat modely na stejném čipu od Huawei. Čínská média v souvislosti s vydáním uvedla, že jeden cluster DeepSeek zpracuje 155 bilionů tokenů denně. Tento údaj nebyl nezávisle ověřen.aiweekly.co+2

Oznámení přišlo tři dny poté, co DeepSeek aktualizoval model na verzi V4.1-Flash-1017, přičemž ceny API zůstaly beze změny. Společnost Hualong Securities uvedla, že rychlé aktualizace DeepSeek podporují argumenty o klesajících nákladech a rostoucí poptávce po inferenčních výpočtech v Číně.stcn.com

Co v balíčku chybí

Zveřejněný kód není kompletním obslužným systémem. Podle souboru README neobsahuje systém KV cache, oddělení prefill a dekódování ani vyvažování zátěže mezi replikami. Firmy, které chtějí provozovat produkční službu, si budou muset tuto infrastrukturu vybudovat samy. DeepInfer je tak nejužitečnější pro týmy, které již provozují distribuované inferenční systémy.fourweekmba.com+1

Ve svém oznámení v čínštině DeepSeek uvedl, že doufá, že toto vydání pomůže vývojářům a podnikům efektivně budovat soukromá i veřejná cloudová nasazení, „aby se inteligence dostala k širší populaci za nižší cenu“.sina.cn