DeepSeek julkaisi tekoälymoottorinsa lähdekoodin kustannusten leikkaamiseksi

Kiinalainen tekoälykehittäjä DeepSeek julkaisi tiistaina 20. lokakuuta DeepInfer-ohjelmiston avoimena lähdekoodina. Kyseessä on yhtiön sisäinen ohjelmisto, jota se käyttää malliensa ajamiseen laajassa mittakaavassa. Yhtiö esitteli julkaisun keinona laskea suurten tekoälyjärjestelmien käyttökustannuksia. Bloombergin mukaan siirto voi tehdä DeepSeekin teknologiasta halvempaa ja helpompaa yritysten käyttöön. DeepInfer on ohjelmisto, joka nopeuttaa yhtiön mallien toimintaa ja tehostaa laskentaresurssien käyttöä.bloomberg.com

DeepSeek kertoi, että DeepInfer pyörittää DeepSeek-V4.1-Flash-mallia "laajassa mittakaavassa korkealla suorituskyvyllä ja pienellä viiveellä". Yhtiö totesi X-palvelussa julkaistussa tiedotteessaan jakavansa tuotantopinonsa "auttaakseen yhteisöä laskemaan laskentakustannuksia, vähentämään energiankulutusta ja tekemään tekoälystä edullisempaa". Yhtiö lisäsi, että tulevien mallien päättelykoodi ja myöhemmät optimoinnit julkaistaan samassa arkistossa.alphasignal.ai+1

Mitä julkaisu sisältää

GitHub-arkisto kuvailee DeepInferiä "korkean suorituskyvyn päättelykehykseksi, joka pyörittää DeepSeekin laajamittaisia tuotantopalveluita". Ensimmäinen julkaisu tarjoaa offline-päättelyn ja tukee DeepSeek-V4.1-Flash-mallia. Koodi on julkaistu Apache 2.0 -lisenssillä. Se sisältää DeepSeekin mukautetut ytimet, kuten FlashMLA, DeepGEMM ja DeepEP, sekä DSpark-spekulatiivisen dekoodauksen, eräpäättelyn ja jäsennellyn tulosteen. Kehys on rakennettu avoimen lähdekoodin vLLM-projektin päälle.alphasignal.ai+1

DeepSeek julkaisi myös deepseek-recipe-komponentin, joka muuntaa API-pyynnöt mallikehotteiksi ja jäsentää tulokset. Se vastaa DeepSeekin virallisen rajapinnan käsittelylogiikkaa, joten itse isännöidyt käyttöönotot toimivat samalla tavalla kuin yhtiön oma palvelu.tech.ifeng.com

Nvidian ja Huawein laitteisto

DeepInfer tukee Nvidian SM100 GPU-kortteja ja Huawein Ascend 950 NPU-suorittimia. Viime viikolla DeepSeek ilmoitti suunnittelevansa mallien esikouluttamista samalla Huawein sirulla vuoden 2026 loppuun mennessä. Kiinalaisen median mukaan yksi DeepSeek-klusteri käsittelee 155 biljoonaa tokenia päivässä. Tätä lukua ei ole riippumattomasti vahvistettu.aiweekly.co+2

Ilmoitus tuli kolme päivää sen jälkeen, kun DeepSeek päivitti mallin versioon V4.1-Flash-1017 ilman muutoksia API-hinnoitteluun. Hualong Securitiesin mukaan DeepSeekin nopeat päivitykset tukevat näkemystä kustannusten laskusta ja päättelylaskennan kysynnän kasvusta Kiinassa.stcn.com

Puuttuvat osat

Julkaisu ei ole täydellinen palvelujärjestelmä. README-tiedoston mukaan se ei sisällä KV-välimuistijärjestelmää, esitäytön ja dekoodauksen erottelua tai kuormituksen tasausta replikoiden välillä. Yritysten, jotka haluavat ajaa tuotantopalvelua, on rakennettava kyseinen infrastruktuuri itse. Tämä tekee DeepInferistä hyödyllisimmän tiimeille, jotka operoivat jo valmiiksi hajautettuja päättelyjärjestelmiä.fourweekmba.com+1

Kiinankielisessä tiedotteessaan DeepSeek kertoi toivovansa julkaisun auttavan kehittäjiä ja yrityksiä rakentamaan tehokkaita yksityisiä ja julkisia pilviympäristöjä, "jotta älykkyys voi tavoittaa laajemman väestön halvemmalla hinnalla".sina.cn