На задание одновременно писать код и доказывать его правильность лучший агент осилил 27 из 43 — и ноль на сложных

Команда, в которую входит Дон Сонг, опубликовала 13 августа на arXiv работу Vero — по описанию авторов, первый бенчмарк для верифицированного синтеза кода на уровне репозитория. Вместо функции, проходящей тесты, Vero требует от агента рабочую реализацию поверх многомодульной кодовой базы и вместе с ней машинно проверяемое доказательство того, что реализация соответствует формальной спецификации. В набор входят 43 задачи, построенные на реальных репозиториях, охватывающие языки доказательств и программирования, среди которых Lean 4, Dafny, Verus и Coq, и области от криптографических протоколов до распределённых систем. Самая сильная испытанная авторами конфигурация агента полностью решила 27 задач из 43 и не закрыла ни одной спецификации на самых трудных репозиториях.

✓ Проверено · 1 источников

Похожие новости