DeepSeek cílí na polovinu července s uvedením V4 a novou cenotvorbou API

Výzkumníci z Pekingské univerzity a DeepSeek vydali 27. června DSpark, open-source rámec pro spekulativní dekódování, který zrychluje inferenci velkých jazykových modelů o 60 až 85 procent na uživatele v živých produkčních systémech, což představuje první velký technický počin čínské AI laboratoře od jejího investičního kola ve výši 7 miliard dolarů.marktechpost+2

Jak DSpark funguje

Spekulativní dekódování rozděluje generování textu do dvou rolí: malý, rychlý model návrhů navrhne dávku tokenů a plný cílový model tuto dávku ověří v jediném průchodu, přičemž si ponechá všechny tokeny, se kterými souhlasí. DSpark vylepšuje dřívější přístupy dvěma doplňky. Za prvé, místo trénování samostatného modelu návrhů od nuly, naroubovává lehkou spekulativní hlavu přímo na existující kontrolní bod modelu – což znamená, že kvalita výstupu základního modelu zůstává nezměněna. Za druhé, systém hodnocení spolehlivosti dává každému navrženému tokenu pravděpodobnost, že přežije ověření, zatímco plánovač zohledňující hardware upravuje počet kontrolovaných tokenů na základě aktuálního vytížení GPU. Když je provoz nízký, systém ověřuje delší řady odhadů; když je provoz vysoký, zahazuje tokeny s nízkou spolehlivostí dříve, než spotřebují výpočetní výkon.digg+3

Výkon a kompatibilita

V online produkčním prostředí DeepSeek, které zpracovává reálný uživatelský provoz, přinesl DSpark o 60 až 85 procent rychlejší generování pro jednoho uživatele u V4-Flash a 57 až 78 procent u V4-Pro ve srovnání s předchozím základem MTP-1 od DeepSeek. Za určitých podmínek latence dosáhly zisky propustnosti až 661 procent u Flash a 406 procent u Pro. Offline benchmarky ukázaly, že délka přijatých tokenů vzrostla o 26 až 31 procent oproti Eagle3 a o 16 až 18 procent oproti DFlash.youtube+2

Rámec je agnostický vůči modelu. DeepSeek prokázal kompatibilitu s kontrolními body Qwen3 od Alibaba ↘ 0.94% a Gemma od Alphabet Inc. ↘ 12.23% (Google). Spolu s DSpark tým uvolnil jako open-source DeepSpec, kompletní kódovou základnu pro trénování a vyhodnocování spekulativních dekódovacích návrhářů, vše pod licencí MIT na GitHubu.marktechpost+3

Širší kontext

Vydání přichází v době, kdy se DeepSeek připravuje na oficiální spuštění svého modelu V4 v polovině července s novým mechanismem cenotvorby API pro špičky a mimo špičku. DSpark je již plně nasazen ve všech online službách DeepSeek, čímž snižuje plýtvání výpočetním výkonem GPU z neplatných ověření při zachování kvality výstupu identické se základním modelem. Zakladatel DeepSeek Liang Wenfeng byl spoluautorem doprovodného článku s názvem „DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation.“pandaily+1