Newsletter Subscribe
Enter your email address below and subscribe to our newsletter
All voices matter
DeepSeek-ը նպատակ ունի հուլիսի կեսերին գործարկել V4-ը՝ API-ի նոր գնացուցակով
- DeepSeek-ը կիրակի օրը հայտարարեց, որ իր V4 մոդելը պաշտոնապես կգործարկվի հուլիսի կեսերին՝ API-ի պիկ և ոչ պիկ ժամերի գնագոյացմամբ, որը կրկնապատկում է սակագները ծանրաբեռնված ժամերին:
news.futunn - Թիմը նաև բաց կոդով հրապարակեց DSpark-ը՝ սպեկուլյատիվ ապակոդավորման շրջանակ, որը մշակվել է Պեկինի համալսարանի հետ համատեղ և արագացնում է գեներացումը մեկ օգտատիրոջ համար մինչև 85%-ով:
marktechpost+1 - DSpark-ն արդեն տեղակայված է DeepSeek-ի արտադրական համակարգերում և աշխատում է երրորդ կողմի մոդելների հետ, ներառյալ Alibaba-ի Qwen-ը և Google-ի Gemma-ն:
digg+1
Պեկինի համալսարանի և DeepSeek-ի հետազոտողները հունիսի 27-ին թողարկեցին DSpark-ը՝ բաց կոդով սպեկուլյատիվ ապակոդավորման շրջանակ, որն արագացնում է լեզվական մեծ մոդելների եզրակացությունը 60-ից 85 տոկոսով մեկ օգտատիրոջ համար կենդանի արտադրական համակարգերում, ինչը չինական AI լաբորատորիայի առաջին խոշոր տեխնիկական թողարկումն է 7 միլիարդ դոլարի ֆինանսավորման փուլից հետո:marktechpost+2
Ինչպես է աշխատում DSpark-ը
Սպեկուլյատիվ ապակոդավորումը տեքստի գեներացումը բաժանում է երկու դերի. փոքր, արագ «սևագրային» մոդելը առաջարկում է նշանների (tokens) խմբաքանակ, իսկ ամբողջական թիրախային մոդելը ստուգում է այդ խմբաքանակը մեկ անցումով և պահպանում է բոլոր այն նշանները, որոնց համաձայն է: DSpark-ը բարելավում է նախորդ մոտեցումները երկու հավելումով: Նախ, փոխարենը զրոյից առանձին սևագրային մոդել մարզելու, այն ավելացնում է թեթև սպեկուլյատիվ գլուխ անմիջապես առկա մոդելի ստուգման կետին, ինչը նշանակում է, որ հիմքում ընկած մոդելի ելքային որակը մնում է անփոփոխ: Երկրորդ, վստահության գնահատման համակարգը յուրաքանչյուր սևագրային նշանին տալիս է ստուգումը անցնելու հավանականություն, մինչդեռ սարքավորումների վրա հիմնված պլանավորողը կարգավորում է, թե քանի նշան պետք է ստուգվի՝ հիմնվելով GPU-ի ընթացիկ ծանրաբեռնվածության վրա: Երբ երթևեկությունը թեթև է, համակարգը ստուգում է ենթադրությունների ավելի երկար շարքեր. երբ երթևեկությունը ծանր է, այն մերժում է ցածր վստահության նշանները, նախքան դրանք հաշվողական ռեսուրսներ կսպառեն:digg+3
Արդյունավետություն և համատեղելիություն
DeepSeek-ի առցանց արտադրական միջավայրում, որը մշակում է իրական օգտատերերի երթևեկությունը, DSpark-ը ապահովել է 60-ից 85 տոկոսով ավելի արագ մեկ օգտատիրոջ գեներացում V4-Flash-ի վրա և 57-ից 78 տոկոսով V4-Pro-ի վրա՝ համեմատած DeepSeek-ի նախորդ MTP-1 բազային գծի հետ: Որոշակի լատենտային պայմաններում թողունակության աճը հասել է 661 տոկոսի Flash-ի վրա և 406 տոկոսի Pro-ի վրա: Օֆլայն թեստերը ցույց են տվել, որ ընդունված նշանների երկարությունը աճել է 26-ից 31 տոկոսով Eagle3-ի համեմատ և 16-ից 18 տոկոսով DFlash-ի համեմատ:youtube+2
Շրջանակը մոդելներից անկախ է: DeepSeek-ը ցույց է տվել համատեղելիություն Alibaba-ի Qwen3-ի և Google-ի Alphabet Inc.-ի Gemma-ի ստուգման կետերի հետ: DSpark-ի հետ մեկտեղ թիմը հրապարակեց DeepSpec-ը՝ ամբողջական ստեկի կոդային բազա սպեկուլյատիվ ապակոդավորման սևագրերի պատրաստման և գնահատման համար, ամեն ինչ MIT լիցենզիայով GitHub-ում:marktechpost+3
Ավելի լայն համատեքստ
Թողարկումը տեղի է ունենում այն ժամանակ, երբ DeepSeek-ը պատրաստվում է հուլիսի կեսերին պաշտոնապես գործարկել իր V4 մոդելը՝ API-ի գնագոյացման նոր պիկ և ոչ պիկ մեխանիզմով: DSpark-ն արդեն ամբողջությամբ ներդրված է DeepSeek-ի առցանց ծառայություններում՝ նվազեցնելով GPU-ի հաշվողական ռեսուրսների վատնումը սխալ ստուգումների պատճառով՝ միաժամանակ պահպանելով ելքային որակը, որը նույնական է բազային մոդելին: DeepSeek-ի հիմնադիր Լիանգ Վենֆենգը եղել է «DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation» վերնագրով ուղեկցող աշխատության համահեղինակը:pandaily+1
Sources (14)
- 1 DeepSeek V4 is scheduled for mid-July, with concurrent ... news.futunn.com
- 2 DeepSeek Releases DSpark, a Speculative Decoding Framework ... www.marktechpost.com
- 3 DeepSeek DSpark Boosts Generation Speed by 85% in First Post ... pandaily.com
- 4 DeepSeek-AI and Peking University open-source DSpark, using ... digg.com
- 5 Open Source Speculative Decoding for 85% Faster Inference www.youtube.com
- 6 DSpark - DeepSeek Just Made Inference 85% Faster - YouTube www.youtube.com
- 7 DeepSpec: a full-stack codebase for training and ... - GitHub github.com
- 8 DeepSeek's DSpark Brings Speculative Decoding Back Into the ... dev.to
- 9 Open Source Inference Frameworks - Aussie AI www.aussieai.com
- 10 hemingkx/SpecDec: Codes for our paper "Speculative Decoding github.com
- 11 Best Inference Framework & Open Models for Orchestrator-Workers ... forums.developer.nvidia.com
- 12 mscheong01/speculative_decoding.c: minimal C implementation of ... github.com
- 13 DSpark: Speculative decoding accelerates LLM inference [pdf] www.reddit.com
- 14 DeepSpec/DSpark_paper.pdf at main · deepseek-ai ... - GitHub github.com
