Cloudflare ने बताया: खरबों पैरामीटर वाले ओपन मॉडल कम GPU में कैसे समाते हैं
Cloudflare ने वह तरीक़ा प्रकाशित किया जिससे वह Moonshot के Kimi K2.6 और Z.ai के GLM 5.2 जैसे भारी-भरकम ओपन मॉडलों को अपने Workers AI प्लेटफ़ॉर्म पर चलाता है। अटेंशन कैश को 16-बिट की जगह 8-बिट में रखने से कॉन्टेक्स्ट क्षमता दोगुनी होकर 13.7 लाख टोकन हो जाती है और प्रति टोकन क़रीब 30% कम लागत पर 41% ज़्यादा थ्रूपुट मिलता है; GLM के वेट्स को 4-बिट में दबाने से मॉडल 705 GB से घटकर 421 GB रह जाता है। कंपनी के अनुसार बेंचमार्क में सटीकता मूल संस्करणों से अलग नहीं पहचानी जा सकी।
यह क्यों मायने रखता हैAI के अर्थशास्त्र की अगली सीमा सिर्फ़ बेहतर मॉडल नहीं — वही मॉडल सस्ते में चलाना भी है। भारी ओपन मॉडलों को चलाना लगातार सस्ता होने की बड़ी वजह ऐसी ही तकनीकें हैं, और Cloudflare ने इन्हें खुले में छापा है ताकि कोई भी इन्फ्रास्ट्रक्चर टीम इन्हें अपना सके।
ऐप में पढ़ें — मुफ़्त, 9 भाषाएँ
संबंधित खबरें
एपल म्यूजिक बताएगा कि कौन-सा गाना मशीन ने बनाया — पर बताना है या नहीं, यह अपलोड करने वाला तय करेगा2026-08-21स्ट्राइप ने अभी एक मॉडल राउटर के लिए 7.5 अरब डॉलर चुकाए। कुछ दिन बाद रैम्प ने खुद एक बना लिया और जनवरी तक मुफ़्त बाँट रहा है।
2026-08-21मेटा का असिस्टेंट अब एक मैक ऐप है जो आपकी स्क्रीन पढ़ता है और किसी भी विंडो में टाइप करता है — और जो वह देखता है, उससे मॉडल प्रशिक्षित हो सकता है
2026-08-21किसी न्यूज़ साइट पर एक क्लिक अब गूगल से कहता है कि मुझे इसे और दिखाओ — और आप जिस पेज पर थे, वहीं बने रहते हैं
2026-08-21Adobe अब संगीत, आवाज़ और दरवाज़ा बंद होने की आवाज़ भी बना देगा — और कहता है कि लाइसेंस आपको ढक लेता है
2026-08-21