Newsletter Subscribe
Enter your email address below and subscribe to our newsletter
[forminator_form id="25163"]

bloomberg.com+1:github.com+1:x.com+1:Երեքշաբթի՝ հոկտեմբերի 20-ին, չինական AI մշակող DeepSeek-ը թողարկեց DeepInfer-ը՝ ներքին ծրագրակազմը, որն օգտագործում է իր մոդելները մասշտաբով սպասարկելու համար, որպես բաց կոդով նախագիծ: Ընկերությունը ներկայացրեց այս թողարկումը որպես մեծ AI համակարգերի շահագործման արժեքը նվազեցնելու միջոց: Bloomberg-ը հայտնել է, որ այս քայլը կարող է DeepSeek-ի տեխնոլոգիան ավելի էժան և հեշտ դարձնել բիզնեսների համար: DeepInfer-ը ծրագրակազմ է, որը թույլ է տալիս ընկերության մոդելներին ավելի արագ աշխատել և ավելի արդյունավետ օգտագործել հաշվարկային ռեսուրսները:bloomberg.com
DeepSeek-ը հայտարարել է, որ DeepInfer-ը սնուցում է DeepSeek-V4.1-Flash-ը «մասշտաբով՝ բարձր թողունակությամբ և ցածր ուշացումով»: X-ում իր հայտարարության մեջ ընկերությունը նշել է, որ կիսվում է իր արտադրական ստեկով, որպեսզի «օգնի համայնքին նվազեցնել հաշվարկային ծախսերը, կրճատել էներգիայի սպառումը և AI-ն ավելի մատչելի դարձնել»: Ընկերությունը հավելել է, որ ապագա մոդելների եզրակացության կոդը և հետագա օպտիմիզացիաները կհրապարակվեն նույն պահոցում:alphasignal.ai+1
GitHub-ի պահոցը DeepInfer-ը անվանում է «բարձր արդյունավետության եզրակացության շրջանակ, որը սնուցում է DeepSeek-ի լայնածավալ արտադրական ծառայությունները»: Առաջին թողարկումն առաջարկում է օֆլայն եզրակացություն և աջակցում է DeepSeek-V4.1-Flash-ին: Կոդը գտնվում է Apache 2.0 լիցենզիայի ներքո: Այն ներառում է DeepSeek-ի հատուկ միջուկները, ինչպիսիք են FlashMLA-ն, DeepGEMM-ը և DeepEP-ը, ինչպես նաև DSpark սպեկուլյատիվ վերծանումը, խմբաքանակային-ինվարիանտ եզրակացությունը և կառուցվածքային ելքը: Շրջանակը կառուցված է բաց կոդով vLLM նախագծի վրա:alphasignal.ai+1
DeepSeek-ը նաև թողարկել է deepseek-recipe-ը՝ բաղադրիչ, որը API հարցումները վերածում է մոդելի հուշումների և վերլուծում ելքը: Այն համապատասխանում է DeepSeek-ի պաշտոնական API-ի մշակման տրամաբանությանը, ուստի ինքնուրույն տեղակայված տարբերակները աշխատում են այնպես, ինչպես ընկերության սեփական ծառայությունը:tech.ifeng.com
DeepInfer-ը աջակցում է Nvidia SM100 GPU-ներին և Huawei Ascend 950 NPU-ներին: Անցյալ շաբաթ DeepSeek-ը հայտարարեց, որ նախատեսում է մոդելները նախապես մարզել նույն Huawei չիպի վրա մինչև 2026 թվականի վերջը: Թողարկման վերաբերյալ չինական լրատվամիջոցների լուսաբանումը նշում է, որ մեկ DeepSeek կլաստերը օրական մշակում է 155 տրիլիոն թոքեն: Այս ցուցանիշը անկախ կերպով չի հաստատվել:aiweekly.co+2
Հայտարարությունը հնչել է մոդելը V4.1-Flash-1017-ի թարմացնելուց երեք օր անց, ընդ որում API-ի գները մնացել են անփոփոխ: Hualong Securities-ը նշել է, որ DeepSeek-ի արագ թարմացումները հիմնավորում են Չինաստանում ծախսերի նվազման և եզրակացային հաշվարկների նկատմամբ աճող պահանջարկի մասին փաստարկը:stcn.com
Այս թողարկումը ամբողջական սպասարկման համակարգ չէ: README-ի համաձայն՝ այն չի ներառում KV քեշի համակարգ, նախնական լրացման և վերծանման տարանջատում կամ ծանրաբեռնվածության բաշխում ռեպլիկաների միջև: Ընկերությունները, որոնք ցանկանում են գործարկել արտադրական ծառայություն, պետք է ինքնուրույն կառուցեն այդ ենթակառուցվածքը: Սա DeepInfer-ը դարձնում է առավել օգտակար այն թիմերի համար, որոնք արդեն շահագործում են բաշխված եզրակացության համակարգեր:fourweekmba.com+1
Չինարեն լեզվով իր հայտարարության մեջ DeepSeek-ը նշել է, որ հուսով է, որ այս թողարկումը կօգնի մշակողներին և ձեռնարկություններին արդյունավետորեն կառուցել մասնավոր և հանրային ամպային տեղակայումներ, «որպեսզի հետախուզությունը հասնի ավելի լայն բնակչության՝ ավելի ցածր գնով»: sina.cn