Beşinci sınıfın üstünde hiçbir şey okumamış bir dil modeli kurdular — sonra ona daha fazlasını öğretemediklerini gördüler

Max Planck Akıllı Sistemler Enstitüsü, ELLIS Enstitüsü Tübingen ve ETH Zürih'ten araştırmacılar LittleLearner'ı yayımladı: FineWeb-Edu'dan beş aşamalı bir süzgeçle damıtılmış, ABD Common Core ölçütlerine hizalanmış ve 5. sınıfın üzerinde öğretilen her şeyin çıkarıldığı 88 milyar token'lık bir derlem üzerinde sıfırdan eğitilmiş 0,6B, 1,3B ve 5B parametreli dil modelleri. Her modelin, aynı hattan geçen ama süzgeçsiz bir kontrol eşi var. Temel bulgu şu: modeli büyütmek, SFT ve GRPO ile eğitim sonrası çalışma ve bağlam içi öğrenme, müfredatın zaten içerdiği şeyi güçlendiriyor — ama hiçbiri müfredat dışındaki bilgide kayda değer bir iyileşme sağlamıyor. Derlem ve modeller, modellerin bilgiyi nasıl edindiğini incelemek için bir deney alanı olarak yayımlandı.

✓ Doğrulandı · 2 kaynak

İlgili haberler