टूल्स
AI Minute Newsroom
2026-08-04
Swiftlet ने 80 अरब पैरामीटर वाले मॉडल को 4.3 GB RAM में समेटा — और 35 अरब वाले को iPhone में
Swiftlet नाम का नया ओपन-सोर्स Swift/Metal रनटाइम मिक्सचर-ऑफ-एक्सपर्ट्स वज़नों को ज़रूरत पड़ने पर डिस्क से स्ट्रीम करता है: अटेंशन परतें, राउटर और बार-बार इस्तेमाल होने वाले 'विशेषज्ञों' का कैश मेमोरी में रहता है, बाकी स्टोरेज से मंगाया जाता है। नतीजा: Qwen3-Next-80B, M5 Mac पर करीब 4.3 GB RAM में 4.5-5 टोकन प्रति सेकंड चलता है, और 35 अरब पैरामीटर वाला मॉडल iPhone 17 पर लगभग 1 टोकन प्रति सेकंड। समझौते भी हैं: बड़े मॉडल के लिए 42 GB खाली डिस्क चाहिए, और डेवलपर की चेतावनी है कि ऐसे विरल मॉडल 'बातचीत बड़े मॉडल जैसी करते हैं, पर तथ्य छोटे मॉडल जैसे याद रखते हैं।' प्रोजेक्ट एक दिन में Hacker News पर शीर्ष पर पहुंचा और GitHub पर 280 से ज्यादा स्टार पा गया।
यह क्यों मायने रखता हैबड़े मॉडलों के उपभोक्ता उपकरणों पर न चलने की वजह चिप नहीं, मेमोरी की दीवार थी। अगर एक्सपर्ट स्ट्रीमिंग टिकाऊ निकली, तो आपके पास मौजूद हार्डवेयर पर वह श्रेणी के मॉडल चलेंगे जिनके लिए अब तक GPU वर्कस्टेशन चाहिए था — जो निजता, ऑफ़लाइन उपयोग और API का खर्च न उठा पाने वालों के लिए मायने रखता है।
✓ सत्यापित · 2 स्रोत
ऐप में पढ़ें — मुफ़्त, 9 भाषाएँ
संबंधित खबरें
शोधकर्ताओं का दावा है कि उन्होंने Meta के Muse एजेंट से चैट निकाल लीं।
2026-11-22ChatGPT का साझा कार्यक्षेत्र Space अब Plus ग्राहकों तक पहुँच रहा है।
2026-11-21Signal ने फ़ोन के AI सहायकों को चैट पढ़ने से रोक दिया
2026-11-20OpenAI ने अपना नया वॉइस मॉडल डेवलपरों के लिए खोला
2026-11-20Gemini अब आपके Mac पर ख़ुद क्लिक और टाइप करके काम निपटाता है।
2026-11-20