Pedidos de escribir código y demostrar que es correcto a la vez, el mejor agente resolvió 27 de 43 — y ninguno de los difíciles

Un equipo que incluye a Dawn Song publicó Vero en arXiv el 13 de agosto, presentado como el primer banco de pruebas de síntesis de código verificado a escala de repositorio. En lugar de pedir a un agente una función que pase los tests, Vero le pide una implementación que funcione a lo largo de un código de varios módulos y además una demostración comprobable por máquina de que esa implementación cumple una especificación formal. Contiene 43 instancias construidas a partir de repositorios reales, que abarcan lenguajes de prueba y programación como Lean 4, Dafny, Verus y Coq, y dominios que van de los protocolos criptográficos a los sistemas distribuidos. La configuración de agente más potente que probaron los autores resolvió por completo 27 de las 43, y no cerró ninguna especificación en los repositorios más difíciles.

✓ Verificado · 1 fuentes

Noticias relacionadas