DeepSeek sikter mot lansering av V4 i midten av juli med ny API-prising

Forskere fra Peking University og DeepSeek lanserte DSpark den 27. juni, et rammeverk for spekulativ dekoding med åpen kildekode som akselererer inferens for store språkmodeller med 60 til 85 prosent per bruker i live produksjonssystemer. Dette markerer den kinesiske AI-laboratoriets første store tekniske utgivelse siden finansieringsrunden på 7 milliarder dollar.marktechpost+2

Hvordan DSpark fungerer

Spekulativ dekoding deler tekstgenerering inn i to roller: en liten, rask utkastmodell foreslår en gruppe tokens, og den fullstendige målmodellen verifiserer denne gruppen i én enkelt gjennomgang, og beholder alle tokens den er enig i. DSpark forbedrer tidligere tilnærminger med to tillegg. For det første, i stedet for å trene en separat utkastmodell fra bunnen av, podes et lett spekulativt hode direkte på modellens eksisterende kontrollpunkt – noe som betyr at utdatakvaliteten til den underliggende modellen forblir uendret. For det andre gir et tillitsskåringssystem hvert foreslått token en sannsynlighet for å overleve verifisering, mens en maskinvarebevisst planlegger justerer hvor mange tokens som skal sjekkes basert på nåværende GPU-belastning. Når trafikken er lav, verifiserer systemet lengre rekker med gjett; når trafikken er høy, forkaster det tokens med lav tillit før de bruker beregningskraft.digg+3

Ytelse og kompatibilitet

I DeepSeeks online produksjonsmiljø som håndterer reell brukertrafikk, leverte DSpark 60 til 85 prosent raskere generering for én bruker på V4-Flash og 57 til 78 prosent på V4-Pro sammenlignet med DeepSeeks tidligere MTP-1-baseline. Under visse latensforhold nådde gjennomstrømningsgevinstene så høyt som 661 prosent på Flash og 406 prosent på Pro. Offline-benchmarks viste at akseptert tokenlengde økte med 26 til 31 prosent over Eagle3 og 16 til 18 prosent over DFlash.youtube+2

Rammeverket er modell-agnostisk. DeepSeek demonstrerte kompatibilitet med Alibabas ↘ 1.51% Qwen3 og Googles Alphabet Inc. ↘ 1.45% Gemma-kontrollpunkter. Sammen med DSpark har teamet gjort DeepSpec åpen kildekode, en fullstendig kodebase for trening og evaluering av spekulative dekodingsutkastere, alt under en MIT-lisens på GitHub.marktechpost+3

Bredere kontekst

Utgivelsen kommer mens DeepSeek forbereder seg på å offisielt lansere sin V4-modell i midten av juli med en ny API-prismekanisme for topp- og lavbelastning. DSpark er allerede fullt ut implementert på tvers av DeepSeeks nettjenester, noe som reduserer bortkastet GPU-beregning fra ugyldige verifiseringer samtidig som utdatakvaliteten opprettholdes identisk med basemodellen. DeepSeek-grunnlegger Liang Wenfeng var medforfatter av den tilhørende artikkelen, med tittelen "DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation."pandaily+1