उन्होंने ऐसा भाषा मॉडल बनाया जिसने पाँचवीं कक्षा से ऊपर कुछ नहीं पढ़ा — फिर पाया कि वे उसे और नहीं सिखा सकते

मैक्स प्लांक इंस्टिट्यूट फ़ॉर इंटेलिजेंट सिस्टम्स, ELLIS इंस्टिट्यूट ट्यूबिंगन और ETH ज़्यूरिख़ के शोधकर्ताओं ने LittleLearner जारी किया: 0.6B, 1.3B और 5B पैरामीटर वाले भाषा मॉडल, जो 88 अरब टोकन के एक कोष पर शून्य से प्रशिक्षित हैं। यह कोष FineWeb-Edu से पाँच-चरणीय छननी के ज़रिये निकाला गया, अमेरिकी कॉमन कोर मानकों के अनुरूप ढाला गया, और उसमें से कक्षा 5 से ऊपर पढ़ाई जाने वाली हर चीज़ हटा दी गई। हर मॉडल का एक जोड़ीदार नियंत्रण-मॉडल भी है, जो उसी प्रक्रिया से पर बिना छननी के प्रशिक्षित हुआ। मुख्य निष्कर्ष: मॉडल का आकार बढ़ाना, SFT और GRPO से पश्च-प्रशिक्षण, और संदर्भ-आधारित सीखना — ये सब पाठ्यक्रम में पहले से मौजूद चीज़ को बढ़ाते हैं, पर इनमें से कोई भी उसके बाहर के ज्ञान पर प्रदर्शन को उल्लेखनीय रूप से नहीं सुधारता। कोष और मॉडल ज्ञान-अर्जन के अध्ययन के लिए प्रयोगशाला के रूप में प्रकाशित हुए हैं।

✓ सत्यापित · 2 स्रोत

संबंधित खबरें