Yapay zekânın eğitilme biçimini iyileştirmek için dört saat ve bir GPU verildi: en iyi ajan 1 üzerinden 0,25 aldı — çoğu ise hiç denemedi

20 Ağustos'ta arXiv'e konan AI4AI-Bench adlı ölçüt, sıradan kodlama değerlendirmelerinden daha dar ve daha ilginç bir şeyi sınıyor: bir yapay zekâ ajanı, yapay zekâyı eğitmekte kullanılan algoritmaları iyileştirebilir mi? Kurulum, on eğitim algoritması ailesini kapsayan on dondurulmuş araştırma deposundan oluşuyor. Ajana, eğitim kodunu değiştirmek için tek bir B300 GPU üzerinde dört saat veriliyor; sonuç sonra on iki saate kadar çalıştırılıp gizli ölçütlere karşı puanlanıyor. Ölçekte 0 hiçbir bilgi vermeyen model, 0,1 değiştirilmemiş özgün algoritma, 1,0 ise bilinen en iyi sonuç. Altı sistemin 29 yapılandırmasıyla on görevin tamamında ortalama puan 0,166, en iyi tek sistem 0,250 oldu. En açıklayıcı rakam ise yetenekle ilgili bile değil. Algoritmayı gerçekten değiştirmeyi deneyen sistemler ortalama 0,226 alırken denemeyenler 0,126'da kaldı — ve akıl yürütme çabası artırıldığında değişiklik deneyen koşuların oranı yüzde 8'den yüzde 64'e çıktı, ortalama 0,094'ten 0,196'ya yükseldi. Makale bir ön baskı ve hakem denetiminden geçmedi.

✓ Doğrulandı · 2 kaynak

İlgili haberler