Четыре часа и один GPU, чтобы улучшить способ обучения ИИ: лучший агент набрал 0,25 из 1 — а большинство даже не попробовали

Опубликованный на arXiv 20 августа бенчмарк AI4AI-Bench проверяет вопрос более узкий и более интересный, чем обычные оценки программирования: может ли ИИ-агент улучшить алгоритмы, которыми обучают ИИ? Конструкция включает десять замороженных исследовательских репозиториев, охватывающих десять семейств алгоритмов обучения. Агенту даётся четыре часа на одном GPU B300, чтобы изменить обучающий код; результат затем запускается на срок до двенадцати часов и оценивается по скрытым бенчмаркам по шкале, где 0 — неинформативная модель, 0,1 — исходный неизменённый алгоритм, а 1,0 — лучший известный результат. По 29 конфигурациям шести систем на всех десяти задачах средний балл составил 0,166, лучшая отдельная система достигла 0,250. Самая показательная цифра вообще не о способностях. Системы, которые действительно пытались изменить алгоритм, набрали в среднем 0,226 против 0,126 у тех, кто не пытался, — а при повышении усилий на рассуждение доля запусков с попыткой изменения выросла с 8 до 64 процентов, а средний балл — с 0,094 до 0,196. Статья представляет собой препринт и не прошла рецензирование.

✓ Проверено · 2 источников

Похожие новости