Forschung AI Minute Newsroom 2026-08-15

Aufgefordert, Code zu schreiben und ihn zugleich zu beweisen, schaffte der beste Agent 27 von 43 — und keinen der schweren

Ein Team, dem auch Dawn Song angehört, veröffentlichte am 13. August auf arXiv Vero, beschrieben als erster Benchmark für verifizierte Codesynthese auf Repository-Ebene. Statt von einem Agenten eine Funktion zu verlangen, die Tests besteht, verlangt Vero eine lauffähige Implementierung über eine mehrmodulige Codebasis hinweg plus einen maschinell prüfbaren Beweis, dass diese Implementierung einer formalen Spezifikation entspricht. Er enthält 43 aus echten Repositories gebaute Instanzen und umfasst Beweis- und Programmiersprachen wie Lean 4, Dafny, Verus und Coq sowie Domänen von kryptografischen Protokollen bis zu verteilten Systemen. Die stärkste von den Autoren getestete Agentenkonfiguration löste 27 der 43 vollständig und schloss auf den schwersten Repositories keine einzige Spezifikation.

Warum es wichtig istFast jede Behauptung, die man über Agenten und das Schreiben von Software liest, stützt sich darauf, dass Tests bestehen — und Tests decken nur die Fälle ab, die jemand zu schreiben eingefallen ist. Ein maschinell geprüfter Beweis ist die eine Form von Evidenz, der es gleichgültig ist, wie klug das Modell klang: Entweder der Beweis kompiliert oder nicht. Zum ersten Mal wurden Agenten an diesem Maßstab in der Größe eines ganzen Repositories gemessen, und die Antwort lautet: Sie schaffen die leichten zwei Drittel und rühren das schwere Drittel nicht an. Eine nützliche Zahl für das nächste Mal, wenn ein Coding-Agent als zuverlässig beschrieben wird.

#Coding #KI-Agenten

✓ Verifiziert · 1 Quellen

In der App lesen — kostenlos, 9 Sprachen

Aufgefordert, Code zu schreiben und ihn zugleich zu beweisen, schaffte der beste Agent 27 von 43 — und keinen der schweren

Verwandte Meldungen