Qwen4 önizlemesi açıldı: her token için altı milyar parametre çalışıyor ve Alibaba'nın kendi tablosunda gerçek hataları Opus 4.6'dan daha çok çözüyor

Alibaba'nın Qwen ekibi, bu sabah geri sayım koyduğu Qwen3.8-Flash-Next modelinin ağırlıklarını açtı. Model çok kipli bir uzman karışımı (MoE) sistemi: ana ağda 125 milyar parametre, buna ek olarak 51 milyar parametrelik bir n-gram gömme tablosu ve 4 milyar parametrelik çok-tokenli tahmin katmanı — BF16'da toplam yaklaşık 180 milyar; bunun yaklaşık 6 milyarı herhangi bir token için etkin oluyor. Mimari yeni: Gated DeltaNet ile Qwen Seyrek Dikkat'in melezi, onu yönlendirilen ve biri paylaşılan toplam 512 uzman, kapılı artık bağlantı ve Muon ile AdamW eniyileyicilerini harmanlayan bir eğitim reçetesi. Bağlam doğal olarak 262.144 token, bir milyona kadar uzatılabiliyor. Qwen'in kendi yayımladığı tablo modeli SWE-bench Pro'da 62,5 (Claude Opus 4.6 Max 53,4), SWE-bench Multilingual'da 81,0 (77,5) ve DeepSWE 1.1'de 58,7 olarak gösteriyor — bunlar laboratuvarın kendi düzeneğindeki kendi sayıları, henüz bağımsız olarak yinelenmedi. Ekip, eğitimin Qwen3.7-Plus'ın maliyetinin yaklaşık dokuzda birine mal olduğunu söylüyor. Ağırlıklar qwen-community-1.0 lisansıyla Hugging Face ve ModelScope'ta: 131 dosya, kabaca 360GB; belleği yarıya indiren bir FP8 sürümü de var. Qwen bunu Qwen4'ün üzerine kurulacağı mimarinin erken önizlemesi olarak tanımlıyor ve barındırılan sürümün milyon girdi tokeni başına 0,16 dolar, milyon çıktı tokeni başına 0,47 dolardan geleceğini söylüyor.

✓ Doğrulandı · 4 kaynak

İlgili haberler