На задание одновременно писать код и доказывать его правильность лучший агент осилил 27 из 43 — и ноль на сложных
Команда, в которую входит Дон Сонг, опубликовала 13 августа на arXiv работу Vero — по описанию авторов, первый бенчмарк для верифицированного синтеза кода на уровне репозитория. Вместо функции, проходящей тесты, Vero требует от агента рабочую реализацию поверх многомодульной кодовой базы и вместе с ней машинно проверяемое доказательство того, что реализация соответствует формальной спецификации. В набор входят 43 задачи, построенные на реальных репозиториях, охватывающие языки доказательств и программирования, среди которых Lean 4, Dafny, Verus и Coq, и области от криптографических протоколов до распределённых систем. Самая сильная испытанная авторами конфигурация агента полностью решила 27 задач из 43 и не закрыла ни одной спецификации на самых трудных репозиториях.
Похожие новости
Машинное обучение прочитало форму больных клеток мозга и отобрало девять уже одобренных лекарств, которые их успокоили2026-08-21Слух: анонимная модель, бесплатно возглавившая тест по программированию, якобы является невыпущенным флагманом Zhipu
2026-08-21Дешёвая рабочая лошадка DeepSeek научилась видеть — и на агентных задачах, где нужны глаза, заявляет о приближении к лучшему у Anthropic
2026-08-21Nvidia платит 6 миллиардов долларов за машину, которая строит модели конкурента, — и нанимает 109 человек, которые ею управляли
2026-08-21Четыре часа и один GPU, чтобы улучшить способ обучения ИИ: лучший агент набрал 0,25 из 1 — а большинство даже не попробовали
2026-08-21