Google nahm ein gewöhnliches Sprachmodell und brachte ihm bei, 256 Wörter auf einmal zu schreiben — für weniger als ein Zehntel der ursprünglichen Trainingskosten

DiffusionGemma ist ein experimentelles Modell mit offenen Gewichten von Google DeepMind, das Text nicht Token für Token erzeugt. Es verfeinert Blöcke von 256 Token parallel, so wie ein Bild-Diffusionsmodell das ganze Bild auf einmal schärft, mit etwa zwanzig Token je Vorwärtsdurchlauf und rund 1.500 Ausgabetoken pro Sekunde auf einer einzelnen Nvidia H100. Der technische Bericht, einem 43-köpfigen Team zugeschrieben und am 31. Juli auf arXiv eingestellt, erhebt eine engere und nützlichere Behauptung als die Geschwindigkeitszahl. Diffusions-Sprachmodelle galten bislang als eigene Linie, die von Grund auf trainiert werden muss — deshalb hat fast niemand eines. Google trainierte nicht von Grund auf: Es nahm Gemma 4, ein Mixture-of-Experts-Modell mit 25,2 Milliarden Gesamt- und 3,8 Milliarden aktiven Parametern, und wandelte es um — zuerst überwachtes Feintuning zum Rekonstruieren beschädigter Textblöcke, dann eine Stufe, die bestärkendes Lernen und Sampler-Destillation verbindet — mit weniger als zehn Prozent der Token, mit denen das Ausgangsmodell trainiert wurde. Das umgewandelte Modell behält Denkmodus, multimodale Eingabe und langen Kontext, und dem Bericht zufolge schlägt es autoregressive Modelle in der Erzeugungsgeschwindigkeit selbst dann, wenn diese modernste spekulative Dekodierung verwenden. Die Gewichte liegen unter Apache 2.0 auf Hugging Face. Der Geschwindigkeitsvorsprung schrumpft, sobald ein Server rund 32 gleichzeitige Anfragen bedient — genau das Regime, in dem die meisten Produktivsysteme tatsächlich leben.

✓ Verifiziert · 2 Quellen

Verwandte Meldungen