30 करोड़ पैरामीटर वाला एक मॉडल अंदाज़ा लगाता है कि बड़ा मॉडल आगे क्या कहेगा — और मैकबुक 2.87 गुना तेज़ जवाब देता है

Liquid AI ने 20 अगस्त को DSpark प्रकाशित किया: लगभग 30 करोड़ पैरामीटर वाले छोटे ड्राफ़्ट मॉडल, जो उसके LFM2.5 परिवार — 1.2B Instruct, 2.6B और 8B-A1B — के साथ एक-से-एक जोड़े गए हैं। ड्राफ़्ट नौ टोकन का एक ब्लॉक आगे प्रस्तावित करता है, असली मॉडल पूरे ब्लॉक को एक ही फ़ॉरवर्ड पास में जाँचता है, और जिससे वह असहमत हो उसे हटा दिया जाता है। ग्रीडी डिकोडिंग में निकलने वाला पाठ बड़े मॉडल के अकेले चलने जैसा बिल्कुल एक समान होता है, इसलिए बेंचमार्क सटीकता ज़रा भी नहीं बदलती। बदलता है समय: H100 पर 3.18 गुना तक, M4 Max मैकबुक प्रो पर 2.87 गुना तक; 2.6B मॉडल उस लैपटॉप पर लगभग 140 टोकन प्रति सेकंड से ऊपर जाता है, और बहु-टूल परीक्षणों में औसतन 57 प्रतिशत कम विलंब देता है। पेच स्वीकृति दर में है। MATH500 पर 8B-A1B ड्राफ़्ट के प्रस्तावित हर 10 टोकन में से 8.27 स्वीकार होते हैं, जो 3.18 गुना के बराबर है। GSM8K पर यह 4.02 रह जाता है, यानी 1.29 गुना — वही हार्डवेयर, वही मॉडल, लाभ लगभग एक-तिहाई।

✓ सत्यापित · 2 स्रोत

संबंधित खबरें