Kleine Desktop-KI-Modelle können mit Cloud-Systemen konkurrieren, so eine Stanford-Studie

Eine Studie der Stanford University erregt neues Aufsehen mit der Erkenntnis, dass kleine Sprachmodelle, die auf Desktop-Computern laufen, bei der überwiegenden Mehrheit der Aufgaben die Leistung großer cloudbasierter KI-Systeme erreichen können – bei deutlich geringerem Energieverbrauch. Die Forschung, die eine neue Kennzahl namens „Intelligenz pro Watt“ einführte, wurde diese Woche in einer Reuters-Kolumne des Investmentstrategen Joachim Klement hervorgehoben, der argumentierte, dass die Ergebnisse Fragen zur langfristigen Rentabilität von Unternehmen aufwerfen, die immer größere KI-Modelle entwickeln.Inkl+1

Was die Studie herausfand

Das Stanford-Papier, verfasst von Jon Saad-Falcon, Avanika Narayan und Kollegen der Stanford University und Together AI, testete mehr als 20 lokale Sprachmodelle mit bis zu 20 Milliarden aktiven Parametern auf acht Hardware-Beschleunigern und einer Million realer Single-Turn-Chat- und Reasoning-Anfragen. Die Forscher fanden heraus, dass lokale Modelle 88,7 % der Anfragen präzise beantworten können, wobei die Genauigkeit bei kreativen Aufgaben 90 % übersteigt und in den Bereichen Vertrieb, Management und Unterhaltung stark bleibt.Let's Data Science+3

Bei den schwierigsten logischen Aufgaben halten kleine Modelle in etwa 50 % der Fälle mit großen Sprachmodellen Schritt – ein Anstieg von nur 8 % zwei Jahre zuvor, laut Klements Analyse der Ergebnisse. Die Studie ergab zudem, dass sich die „Intelligenz pro Watt“ zwischen 2023 und 2025 um das 5,3-fache verbesserte, angetrieben durch einen 3,1-fachen Gewinn durch Modellverbesserungen und 1,7-fachen durch Hardware-Fortschritte.scalingintelligence.stanford+2

Energie- und Kostenimplikationen

Die Effizienzgewinne haben direkte wirtschaftliche Konsequenzen. Ein „Orakel“-Routing-Ansatz – bei dem Anfragen an lokale Modelle weitergeleitet werden, wenn diese dazu in der Lage sind – könnte den Energieverbrauch um 80,4 % und die Rechenkosten um 73,8 % im Vergleich zur reinen Cloud-Inferenz senken, so das Stanford-Team. Selbst ein unvollkommener Router, der mit 80 % Genauigkeit arbeitet, liefert immer noch Energieeinsparungen von über 60 %.Linkedin

Die Ergebnisse der Studie kommen zu einem Zeitpunkt, an dem Nvidia ↘ 3.17%, das die GPUs für die KI in Rechenzentren liefert, mit Fragen konfrontiert ist, ob die Nachfrage nach zentralisierter Rechenleistung wie prognostiziert wachsen wird. Klement schrieb, dass Unternehmen wie Anthropic, OpenAI und xAI „Grund zur Sorge haben könnten“, wenn kleine Modelle weiterhin in ihrem aktuellen Tempo besser werden, da „die Zukunft der KI kleiner, billiger und weitaus weniger profitabel sein könnte, als Investoren erwarten.“klementoninvesting.substack

Eine sich wandelnde Landschaft

Die Forschung spiegelt einen breiteren Branchentrend wider. Forscher der IBM International Business Machines Corporation ↗ 1.71% haben Modelle wie OpenAIs gpt-oss, Qwen3 und IBMs Granite 4.0 auf Verbraucherhardware getestet und festgestellt, dass aktuelle lokale Modelle eine höhere Intelligenz pro Watt erreichen als Modelle älterer Generationen auf spezialisierter Hardware. Nvidia selbst veröffentlichte 2026 ein Papier, in dem argumentiert wird, dass kleine Sprachmodelle für agentische KI-Systeme „ausreichend leistungsfähig, von Natur aus besser geeignet und notwendigerweise wirtschaftlicher“ seien.IBM+1

Das Stanford-Papier wurde erstmals im November 2025 als Preprint veröffentlicht, wobei die lokale Abdeckung von Anfragen – der Anteil der realen Anfragen, die lokale Modelle präzise verarbeiten können – von 23,2 % im Jahr 2023 auf 71,3 % im Jahr 2025 gestiegen ist.Let's Data Science+1