Google veröffentlicht DiffusionGemma, ein offenes KI-Modell, das Text parallel generiert

Google DeepMind Alphabet Inc. ↗ 0.32% veröffentlichte am Dienstag DiffusionGemma, ein experimentelles Open-Source-Sprachmodell, das den Ansatz herkömmlicher KI-Systeme, Token für Token zu generieren, aufgibt. Stattdessen werden ganze Textblöcke gleichzeitig erstellt, was laut Unternehmensangaben eine bis zu viermal schnellere Inferenz auf dedizierten GPUs ermöglicht.

Eine neue Architektur für Geschwindigkeit

Im Gegensatz zu Standard-autoregressiven Modellen, die Text sequenziell erzeugen, verwendet DiffusionGemma einen diffusionsbasierten Dekodierer, der bei jedem Vorwärtsdurchlauf 256 Token parallel entwirft und den Inferenz-Flaschenhals von der Speicherbandbreite auf die reine Rechenleistung verlagert. Das Modell ist ein Mixture-of-Experts-Design mit 26 Milliarden Parametern, das während der Inferenz nur 3,8 Milliarden Parameter aktiviert, wodurch es bei Quantisierung in den 18 GB VRAM von High-End-Consumer-GPUs Platz findet.letsdatascience+2

Google berichtet von einem Durchsatz von mehr als 1.000 Token pro Sekunde auf einem einzelnen Nvidia ↘ 1.29% H100-Beschleuniger und über 700 Token pro Sekunde auf einer Nvidia GeForce RTX 5090. Das Unternehmen bezeichnete diese Zahlen als etwa viermal so schnell wie die Ausgabegeschwindigkeit vergleichbar großer autoregressiver Gemma-Modelle bei Einzelbenutzer-Workloads.blog+1

Nvidia-Optimierung und Verfügbarkeit

Google gab an, direkt mit Nvidia zusammengearbeitet zu haben, um DiffusionGemma über die gesamte Hardware-Palette des Chipherstellers zu optimieren, von Consumer-GeForce-RTX-4090- und 5090-GPUs bis hin zu Enterprise-Hopper- und Blackwell-Systemen, einschließlich DGX Spark und DGX Station für den lokalen Einsatz. Die native Unterstützung für das NVFP4-Vier-Bit-Gleitkommaformat von Nvidia beschleunigt die Berechnung mit einer von Google als "nahezu verlustfrei" beschriebenen Genauigkeit.blog

Die Modellgewichte sind unter einer Apache 2.0-Lizenz auf Hugging Face verfügbar, und Entwickler können über Nvidia NIM auch auf DiffusionGemma zugreifen. Das Serving wird über vLLM, MLX und Hugging Face Transformers unterstützt.google+1

Kompromisse und Anwendungsfälle

Google stellte ausdrücklich klar, dass DiffusionGemma bei der Gesamtqualität der Ausgabe hinter seinen Standard-Gemma-4-Modellen zurückbleibt. Die Veröffentlichung wird als experimentell eingestuft und richtet sich an Forscher, die geschwindigkeitskritische Workflows wie Inline-Bearbeitung, Code-Infilling und die Generierung nichtlinearer Textstrukturen untersuchen. Der Vorteil der parallelen Dekodierung nimmt bei Cloud-Serving mit hoher Parallelität ebenfalls ab, da autoregressive Modelle dort die Hardware bereits durch Request-Batching auslasten können.letsdatascience+2

Die Veröffentlichung baut auf Googles breiterer Forschung zu Diffusion für Text auf, die im Mai 2025 mit der Gemini-Diffusion-Demo öffentlich begann, und erweitert die Gemma-4-Open-Modellfamilie, die Anfang dieses Monats eingeführt wurde.Signal Daily News+1