Die Qwen4-Vorschau ist offen: sechs Milliarden Parameter pro Token aktiv — und in Alibabas eigener Tabelle behebt sie mehr echte Bugs als Opus 4.6

Alibabas Qwen-Team hat die Gewichte von Qwen3.8-Flash-Next freigegeben, jenem Modell, für das es heute Morgen einen Countdown aufgestellt hatte. Es ist ein multimodales Mixture-of-Experts-System: 125 Milliarden Parameter im Hauptnetz, dazu eine n-Gramm-Embedding-Tabelle mit 51 Milliarden und eine Multi-Token-Prediction-Schicht mit 4 Milliarden — in BF16 insgesamt rund 180 Milliarden, von denen für ein einzelnes Token etwa 6 Milliarden aktiv sind. Die Architektur ist neu: eine Mischung aus Gated DeltaNet und Qwen Sparse Attention, 512 Experten mit zehn gerouteten und einem geteilten, ein Gated Residual und ein Trainingsrezept, das die Optimierer Muon und AdamW kombiniert. Der Kontext beträgt nativ 262.144 Token und lässt sich auf eine Million erweitern. Qwens eigene Tabelle nennt 62,5 auf SWE-bench Pro gegenüber 53,4 für Claude Opus 4.6 Max, 81,0 auf SWE-bench Multilingual gegenüber 77,5 und 58,7 auf DeepSWE 1.1 — Zahlen des Labors, auf dem Prüfstand des Labors, bislang ohne unabhängige Reproduktion. Das Training habe etwa ein Neuntel dessen gekostet, was Qwen3.7-Plus kostete. Die Gewichte liegen unter der Lizenz qwen-community-1.0 auf Hugging Face und ModelScope: 131 Dateien, rund 360 GB, dazu eine FP8-Variante, die den Speicherbedarf halbiert. Qwen bezeichnet das Modell als frühe Vorschau auf die Architektur, auf der Qwen4 aufbauen wird, und kündigt eine gehostete Fassung zu 0,16 Dollar je Million Eingabe-Token und 0,47 Dollar je Million Ausgabe-Token an.

✓ Verifiziert · 4 Quellen

Verwandte Meldungen