टूल्स AI Minute Newsroom 2026-08-04

Cloudflare ने बताया: खरबों पैरामीटर वाले ओपन मॉडल कम GPU में कैसे समाते हैं

Cloudflare ने वह तरीक़ा प्रकाशित किया जिससे वह Moonshot के Kimi K2.6 और Z.ai के GLM 5.2 जैसे भारी-भरकम ओपन मॉडलों को अपने Workers AI प्लेटफ़ॉर्म पर चलाता है। अटेंशन कैश को 16-बिट की जगह 8-बिट में रखने से कॉन्टेक्स्ट क्षमता दोगुनी होकर 13.7 लाख टोकन हो जाती है और प्रति टोकन क़रीब 30% कम लागत पर 41% ज़्यादा थ्रूपुट मिलता है; GLM के वेट्स को 4-बिट में दबाने से मॉडल 705 GB से घटकर 421 GB रह जाता है। कंपनी के अनुसार बेंचमार्क में सटीकता मूल संस्करणों से अलग नहीं पहचानी जा सकी।

यह क्यों मायने रखता हैAI के अर्थशास्त्र की अगली सीमा सिर्फ़ बेहतर मॉडल नहीं — वही मॉडल सस्ते में चलाना भी है। भारी ओपन मॉडलों को चलाना लगातार सस्ता होने की बड़ी वजह ऐसी ही तकनीकें हैं, और Cloudflare ने इन्हें खुले में छापा है ताकि कोई भी इन्फ्रास्ट्रक्चर टीम इन्हें अपना सके।

✓ सत्यापित · 1 स्रोत

ऐप में पढ़ें — मुफ़्त, 9 भाषाएँ

Cloudflare ने बताया: खरबों पैरामीटर वाले ओपन मॉडल कम GPU में कैसे समाते हैं

संबंधित खबरें