Qwen4 का पूर्वावलोकन खुल गया: हर टोकन पर सिर्फ़ छह अरब पैरामीटर सक्रिय, और अलीबाबा की अपनी तालिका में यह Opus 4.6 से ज़्यादा असली बग ठीक करता है

अलीबाबा की Qwen टीम ने Qwen3.8-Flash-Next के वेट्स खोल दिए हैं — वही मॉडल जिस पर आज सुबह उलटी गिनती लगाई गई थी। यह एक मल्टीमॉडल मिक्सचर-ऑफ-एक्सपर्ट्स सिस्टम है: मुख्य नेटवर्क में 125 अरब पैरामीटर, साथ में 51 अरब पैरामीटर की n-gram एम्बेडिंग तालिका और 4 अरब पैरामीटर की मल्टी-टोकन प्रेडिक्शन परत — BF16 में कुल मिलाकर लगभग 180 अरब, जिनमें से किसी भी एक टोकन के लिए करीब 6 अरब ही सक्रिय होते हैं। आर्किटेक्चर नया है: Gated DeltaNet और Qwen Sparse Attention का संकर, कुल 512 एक्सपर्ट (10 राउटेड और 1 साझा), गेटेड रेज़िडुअल, और Muon तथा AdamW ऑप्टिमाइज़र को मिलाने वाली प्रशिक्षण विधि। संदर्भ मूल रूप से 262,144 टोकन है और दस लाख तक बढ़ाया जा सकता है। Qwen की अपनी प्रकाशित तालिका इसे SWE-bench Pro पर 62.5 बताती है, जबकि Claude Opus 4.6 Max 53.4 पर है; SWE-bench Multilingual पर 81.0 बनाम 77.5; और DeepSWE 1.1 पर 58.7 — ये आंकड़े लैब के अपने हैं, अपने ही परीक्षण ढाँचे पर, और अभी तक स्वतंत्र रूप से दोहराए नहीं गए। टीम का कहना है कि प्रशिक्षण में Qwen3.7-Plus की लागत का लगभग नौवाँ हिस्सा लगा। वेट्स qwen-community-1.0 लाइसेंस के तहत Hugging Face और ModelScope पर हैं: 131 फ़ाइलें, करीब 360GB, और एक FP8 संस्करण जो मेमोरी आधी कर देता है। Qwen इसे उस आर्किटेक्चर का शुरुआती पूर्वावलोकन कहता है जिस पर Qwen4 बनेगा, और बताता है कि होस्टेड संस्करण 0.16 डॉलर प्रति दस लाख इनपुट टोकन और 0.47 डॉलर प्रति दस लाख आउटपुट टोकन पर आएगा।

✓ सत्यापित · 4 स्रोत

संबंधित खबरें