गूगल ने एक साधारण भाषा मॉडल को एक साथ 256 शब्द लिखना सिखाया — मूल प्रशिक्षण लागत के दसवें हिस्से से भी कम में

DiffusionGemma गूगल डीपमाइंड का खुले-भार वाला प्रायोगिक मॉडल है, जो पाठ को एक-एक टोकन करके नहीं बनाता। यह 256 टोकनों के खंडों को समानांतर में सँवारता है — जैसे कोई छवि-डिफ़्यूज़न मॉडल पूरी तस्वीर को एक साथ साफ़ करता है — प्रति फ़ॉरवर्ड पास लगभग बीस टोकन, और एकल Nvidia H100 पर मोटे तौर पर 1,500 आउटपुट टोकन प्रति सेकंड। 43 लेखकों की टीम के नाम से 31 जुलाई को arXiv पर रखी गई तकनीकी रिपोर्ट, गति के आँकड़े से अधिक संकीर्ण पर अधिक उपयोगी दावा करती है। डिफ़्यूज़न भाषा मॉडलों को अब तक एक अलग वंश माना जाता रहा है जिसे शून्य से प्रशिक्षित करना पड़ता है, और यही वजह है कि लगभग किसी के पास एक भी नहीं है। गूगल ने शून्य से प्रशिक्षित नहीं किया: उसने Gemma 4 लिया — 25.2 अरब कुल और 3.8 अरब सक्रिय पैरामीटर वाला विशेषज्ञ-मिश्रण मॉडल — और उसे रूपांतरित किया: पहले बिगाड़े गए पाठ-खंडों को दोबारा गढ़ने के लिए पर्यवेक्षित फ़ाइन-ट्यूनिंग, फिर प्रबलन अधिगम और सैंपलर आसवन को जोड़ने वाला एक चरण — और यह सब मूल मॉडल के प्रशिक्षण टोकनों के दस प्रतिशत से भी कम में। रूपांतरित मॉडल में चिंतन मोड, बहु-रूपी इनपुट और लंबा संदर्भ बरक़रार हैं; रिपोर्ट कहती है कि प्रतिद्वंद्वी अत्याधुनिक अनुमानित डिकोडिंग का प्रयोग करें तब भी यह उत्पादन गति में स्वप्रतिगामी मॉडलों को पीछे छोड़ता है। भार Apache 2.0 के तहत Hugging Face पर हैं। गति का लाभ तब घट जाता है जब सर्वर लगभग 32 समवर्ती अनुरोध सँभाल रहा हो — और असल तैनातियाँ ज़्यादातर उसी दायरे में रहती हैं।

✓ सत्यापित · 2 स्रोत

संबंधित खबरें