Microsoft tar DeepSeek och Nvidias AI-modeller till Windows

Microsoft ↗ 1.14% meddelade på onsdagen den 7 oktober att AI-modeller med öppna vikter från DeepSeek och Nvidia ↘ 1.29% kommer att köras lokalt på Windows-datorer. Företaget gjorde tillkännagivandet under sitt Windows- och Surface-event i San Francisco. Planen är en del av vad Microsoft kallar "hybrid intelligens", där en del AI-arbete körs på enheten och en del i molnet. Det var företagets första laptop-fokuserade event på mer än två år.cnet+2

Windows-chefen Pavan Davuluri sa att lokal AI kommer att "forma nästa kapitel för PC-datorn", enligt CNET. En bild som visades på scenen visade att DeepSeek V4 Flash, en modell med 284 miljarder parametrar, kan köras i 60 GB minne när den har komprimerats, eller kvantiserats, till 1,6 bitar per parameter.bgr+3

Modellerna och verktygen

Microsoft beskrev DeepSeek V4 Flash som en modell som erbjuder "intelligens nära frontlinjen i 60 GB minne", enligt bilder från den officiella livesändningen. Nvidia kallar den en "mixture-of-experts"-modell med 13 miljarder aktiva parametrar. Reuters rapporterade att V4-modellen kan köras på maskiner med minst 60 GB minne och kan slå OpenAIs GPT-5 på vissa kodnings- och resonemangsuppgifter.reuters+1

Nvidia kommer också att släppa en ny lokal Nemotron-modell med mer än 70 miljarder parametrar och "kraftfulla agentfunktioner" den 15 oktober. Presentationens bilder avslöjade inte modellens exakta namn. SlashGear rapporterade att både Nemotron och DeepSeek V4 Flash kommer att fungera med Windows ML-körtidsmiljön. Microsoft meddelade också att llama.cpp, en populär open source-motor för inferens, kommer till Windows ML med högnivå-API:er för att bygga generativa AI-appar. Inget lanseringsdatum har angetts.pasqualepillitteri+1

Det var också andra AI-tillkännagivanden:

• Microsofts egen modell MAI Code 1.1 Flash kommer att kunna köras lokalt.cnet
• GitHubs HydraFusion, som väljer modell för varje specifik uppgift, kommer att kunna skicka arbete till lokala Windows-modeller.slashgear+1
• Microsoft Execution Containers (MXC) kommer att sätta säkerhetsgränser för vad AI-agenter kan göra.inshorts+1

Hårdvara byggd för lokal AI

Modellerna är riktade till datorer med Nvidias RTX Spark-chip, som kan ha upp till 128 GB enhetligt minne. Den nya Surface Laptop Ultra använder det chippet. Den kostar från 2 599 dollar, förhandsbeställningarna är öppna och den börjar levereras fredagen den 16 oktober, enligt CNET. Reuters rapporterade att eventet markerar flera års arbete mellan Microsoft och Nvidia för att flytta uppgifter som kodning från molnet till stationära och bärbara datorer.pasqualepillitteri+2

Det är komprimeringen till 1,6 bitar som gör det möjligt. Vid 4 bitar skulle vikterna för DeepSeek V4 Flash kräva cirka 142 GB, vilket är mer än vad någon RTX Spark-maskin har. Kraftig komprimering kan också försämra en modells kvalitet, och "nära frontlinjen" är Microsofts eget påstående. Ingen utomstående part har testat det ännu.pasqualepillitteri