Google sıradan bir dil modelini alıp bir seferde 256 kelime yazmayı öğretti — hem de asıl eğitim maliyetinin onda birinden azına

DiffusionGemma, Google DeepMind'ın açık ağırlıklı deneysel modeli ve metni tek tek token üreterek yazmıyor. 256 tokenlik blokları paralel olarak yeniden düzenliyor — tıpkı bir görüntü difüzyon modelinin tüm resmi aynı anda netleştirmesi gibi — ileri geçiş başına yaklaşık yirmi token, tek bir Nvidia H100'de saniyede kabaca 1.500 çıktı tokeni üretiyor. 43 kişilik bir ekibe atfedilen ve 31 Temmuz'da arXiv'e konan teknik rapor, hız sayısından daha dar ama daha işe yarar bir iddiada bulunuyor. Difüzyon dil modelleri bugüne dek sıfırdan eğitilmesi gereken ayrı bir soy sayıldı; neredeyse kimsenin elinde bir tane olmamasının sebebi bu. Google sıfırdan eğitmedi: 25,2 milyar toplam, 3,8 milyar etkin parametreli uzman karışımı modeli Gemma 4'ü aldı ve dönüştürdü — önce bozulmuş metin bloklarını yeniden kurmak için gözetimli ince ayar, ardından pekiştirmeli öğrenme ile örnekleyici damıtmasını birleştiren bir aşama — üstelik özgün modelin eğitildiği tokenlerin yüzde onundan azını kullanarak. Dönüştürülmüş model düşünme kipini, çok kipli girdiyi ve uzun bağlamı koruyor; rapora göre, karşısındakiler en gelişmiş spekülatif kod çözmeyi kullansa bile üretim hızında otoregresif modelleri geçiyor. Ağırlıklar Apache 2.0 ile Hugging Face'te. Hız üstünlüğü, bir sunucu kabaca 32 eşzamanlı isteği işlemeye başladığında daralıyor — ki üretim kurulumlarının fiilen yaşadığı bölge orası.

✓ Doğrulandı · 2 kaynak

İlgili haberler