Studie Stanfordovy univerzity zjistila, že malé desktopové modely AI mohou konkurovat cloudovým systémům

Studie Stanfordovy univerzity přitahuje pozornost svým zjištěním, že malé jazykové modely běžící na stolních počítačích dokážou u naprosté většiny úkolů vyrovnat výkon velkých cloudových systémů AI, a to při mnohem nižší spotřebě energie. Výzkum, který představil novou metriku nazvanou „inteligence na watt“, byl tento týden vyzdvižen ve sloupku agentury Reuters investičním stratégem Joachimem Klementem, který tvrdil, že zjištění vyvolávají otázky ohledně dlouhodobé ziskovosti společností budujících stále větší modely AI.Inkl+1

Co studie zjistila

Práce Stanfordovy univerzity, jejíž autory jsou Jon Saad-Falcon, Avanika Narayan a kolegové ze Stanfordu a Together AI, testovala více než 20 lokálních jazykových modelů s až 20 miliardami aktivních parametrů na osmi hardwarových akcelerátorech a milionu reálných dotazů pro chat a uvažování. Vědci zjistili, že lokální modely dokážou přesně odpovědět na 88,7 % dotazů, přičemž přesnost u kreativních úkolů přesahuje 90 % a zůstává silná v aplikacích pro prodej, management a zábavu.Let's Data Science+3

U nejobtížnějších úkolů vyžadujících uvažování drží malé modely krok s velkými jazykovými modely zhruba v 50 % případů – podle Klementovy analýzy zjištění je to nárůst z pouhých 8 % před dvěma lety. Studie také zjistila, že „inteligence na watt“ se mezi lety 2023 a 2025 zlepšila 5,3krát, a to díky 3,1násobnému nárůstu díky vylepšení modelů a 1,7násobnému díky pokroku v hardwaru.scalingintelligence.stanford+2

Energetické a nákladové důsledky

Zvýšení efektivity má přímé ekonomické důsledky. Tým ze Stanfordu zjistil, že přístup „věšteckého“ směrování – tedy směrování dotazů na lokální modely, pokud jsou toho schopny – by mohl snížit spotřebu energie o 80,4 % a výpočetní náklady o 73,8 % ve srovnání s čistě cloudovým odvozováním. I nedokonalý směrovač pracující s 80% přesností stále přináší snížení spotřeby energie o více než 60 %.Linkedin

Zjištění studie přicházejí v době, kdy společnost Nvidia ↘ 3.17%, která dodává GPU pohánějící AI v datových centrech, čelí otázkám, zda poptávka po centralizovaných výpočtech poroste podle očekávání. Klement napsal, že pokud se malé modely budou nadále zlepšovat současným tempem, společnosti jako Anthropic, OpenAI a xAI „mohou mít důvod k obavám“, protože „budoucnost AI by mohla být menší, levnější a mnohem méně zisková, než investoři očekávají“.klementoninvesting.substack

Měnící se prostředí

Výzkum odráží širší trend v oboru. Výzkumníci ze společnosti IBM International Business Machines Corporation ↗ 1.71% testovali modely včetně gpt-oss od OpenAI, Qwen3 a Granite 4.0 od IBM na spotřebitelském hardwaru a zjistili, že současné lokální modely dosahují vyšší inteligence na watt než modely starší generace na specializovaném hardwaru. Samotná Nvidia v roce 2026 publikovala článek, v němž tvrdí, že malé jazykové modely jsou pro agentní systémy AI „dostatečně výkonné, přirozeně vhodnější a nutně ekonomičtější“.IBM+1

Článek ze Stanfordu byl poprvé vydán jako preprint v listopadu 2025, přičemž pokrytí lokálních dotazů – podíl reálných dotazů, které lokální modely dokážou přesně zpracovat – vzrostlo z 23,2 % v roce 2023 na 71,3 % v roce 2025.Let's Data Science+1