Swiftlet ने 80 अरब पैरामीटर वाले मॉडल को 4.3 GB RAM में समेटा — और 35 अरब वाले को iPhone में
Swiftlet नाम का नया ओपन-सोर्स Swift/Metal रनटाइम मिक्सचर-ऑफ-एक्सपर्ट्स वज़नों को ज़रूरत पड़ने पर डिस्क से स्ट्रीम करता है: अटेंशन परतें, राउटर और बार-बार इस्तेमाल होने वाले 'विशेषज्ञों' का कैश मेमोरी में रहता है, बाकी स्टोरेज से मंगाया जाता है। नतीजा: Qwen3-Next-80B, M5 Mac पर करीब 4.3 GB RAM में 4.5-5 टोकन प्रति सेकंड चलता है, और 35 अरब पैरामीटर वाला मॉडल iPhone 17 पर लगभग 1 टोकन प्रति सेकंड। समझौते भी हैं: बड़े मॉडल के लिए 42 GB खाली डिस्क चाहिए, और डेवलपर की चेतावनी है कि ऐसे विरल मॉडल 'बातचीत बड़े मॉडल जैसी करते हैं, पर तथ्य छोटे मॉडल जैसे याद रखते हैं।' प्रोजेक्ट एक दिन में Hacker News पर शीर्ष पर पहुंचा और GitHub पर 280 से ज्यादा स्टार पा गया।
यह क्यों मायने रखता हैबड़े मॉडलों के उपभोक्ता उपकरणों पर न चलने की वजह चिप नहीं, मेमोरी की दीवार थी। अगर एक्सपर्ट स्ट्रीमिंग टिकाऊ निकली, तो आपके पास मौजूद हार्डवेयर पर वह श्रेणी के मॉडल चलेंगे जिनके लिए अब तक GPU वर्कस्टेशन चाहिए था — जो निजता, ऑफ़लाइन उपयोग और API का खर्च न उठा पाने वालों के लिए मायने रखता है।
ऐप में पढ़ें — मुफ़्त, 9 भाषाएँ
संबंधित खबरें
TikTok ने देखे जा रहे वीडियो के अंदर शॉपिंग बॉट रख दिया।2026-10-06मेटा का सहायक आपके हर परिचित की घंटेवार फ़ाइल रखता है।
2026-10-05एक कमांड से Apple का हटाया AI बंद करने वाला स्विच वापस
2026-10-05ओपनएआई 28 दिन रोज़ सुधार देगा या सीमाएँ रीसेट करेगा
2026-10-05मेटा ने अपना Muse गैजेट बनाने के लिए फर्मवेयर खोल दिया।
2026-10-04