Swiftlet ने 80 अरब पैरामीटर वाले मॉडल को 4.3 GB RAM में समेटा — और 35 अरब वाले को iPhone में
Swiftlet नाम का नया ओपन-सोर्स Swift/Metal रनटाइम मिक्सचर-ऑफ-एक्सपर्ट्स वज़नों को ज़रूरत पड़ने पर डिस्क से स्ट्रीम करता है: अटेंशन परतें, राउटर और बार-बार इस्तेमाल होने वाले 'विशेषज्ञों' का कैश मेमोरी में रहता है, बाकी स्टोरेज से मंगाया जाता है। नतीजा: Qwen3-Next-80B, M5 Mac पर करीब 4.3 GB RAM में 4.5-5 टोकन प्रति सेकंड चलता है, और 35 अरब पैरामीटर वाला मॉडल iPhone 17 पर लगभग 1 टोकन प्रति सेकंड। समझौते भी हैं: बड़े मॉडल के लिए 42 GB खाली डिस्क चाहिए, और डेवलपर की चेतावनी है कि ऐसे विरल मॉडल 'बातचीत बड़े मॉडल जैसी करते हैं, पर तथ्य छोटे मॉडल जैसे याद रखते हैं।' प्रोजेक्ट एक दिन में Hacker News पर शीर्ष पर पहुंचा और GitHub पर 280 से ज्यादा स्टार पा गया।
यह क्यों मायने रखता हैबड़े मॉडलों के उपभोक्ता उपकरणों पर न चलने की वजह चिप नहीं, मेमोरी की दीवार थी। अगर एक्सपर्ट स्ट्रीमिंग टिकाऊ निकली, तो आपके पास मौजूद हार्डवेयर पर वह श्रेणी के मॉडल चलेंगे जिनके लिए अब तक GPU वर्कस्टेशन चाहिए था — जो निजता, ऑफ़लाइन उपयोग और API का खर्च न उठा पाने वालों के लिए मायने रखता है।
ऐप में पढ़ें — मुफ़्त, 9 भाषाएँ
संबंधित खबरें
एपल म्यूजिक बताएगा कि कौन-सा गाना मशीन ने बनाया — पर बताना है या नहीं, यह अपलोड करने वाला तय करेगा2026-08-21स्ट्राइप ने अभी एक मॉडल राउटर के लिए 7.5 अरब डॉलर चुकाए। कुछ दिन बाद रैम्प ने खुद एक बना लिया और जनवरी तक मुफ़्त बाँट रहा है।
2026-08-21मेटा का असिस्टेंट अब एक मैक ऐप है जो आपकी स्क्रीन पढ़ता है और किसी भी विंडो में टाइप करता है — और जो वह देखता है, उससे मॉडल प्रशिक्षित हो सकता है
2026-08-21किसी न्यूज़ साइट पर एक क्लिक अब गूगल से कहता है कि मुझे इसे और दिखाओ — और आप जिस पेज पर थे, वहीं बने रहते हैं
2026-08-21Adobe अब संगीत, आवाज़ और दरवाज़ा बंद होने की आवाज़ भी बना देगा — और कहता है कि लाइसेंस आपको ढक लेता है
2026-08-21