कोड लिखो और साथ ही उसे सही सिद्ध भी करो — सबसे बेहतर एजेंट ने 43 में से 27 किए, और कठिन वालों में शून्य
डॉन सॉन्ग सहित एक टीम ने 13 अगस्त को arXiv पर Vero प्रकाशित किया, जिसे रिपॉज़िटरी-स्तर पर सत्यापित कोड संश्लेषण का पहला बेंचमार्क बताया गया है। Vero किसी एजेंट से टेस्ट पास करने वाला फ़ंक्शन नहीं मांगता, बल्कि बहु-मॉड्यूल कोडबेस में चलने लायक कार्यान्वयन और साथ ही एक मशीन-जांच योग्य प्रमाण मांगता है कि वह कार्यान्वयन औपचारिक विनिर्देश से मेल खाता है। इसमें वास्तविक रिपॉज़िटरी से बनी 43 समस्याएं हैं, जो Lean 4, Dafny, Verus और Coq जैसी प्रमाण एवं प्रोग्रामिंग भाषाओं तथा क्रिप्टोग्राफिक प्रोटोकॉल से लेकर वितरित प्रणालियों तक के क्षेत्रों को समेटती हैं। लेखकों द्वारा परखे गए सबसे मजबूत एजेंट विन्यास ने 43 में से 27 पूरी तरह हल किए, और सबसे कठिन रिपॉज़िटरी पर एक भी विनिर्देश बंद नहीं कर सका।
यह क्यों मायने रखता हैएजेंटों के सॉफ़्टवेयर लिखने के बारे में आप जो भी दावा पढ़ते हैं, वह लगभग हमेशा टेस्ट पास होने पर टिका होता है; और टेस्ट केवल उन्हीं स्थितियों को ढकते हैं जिन्हें किसी ने लिखने की सोची। मशीन द्वारा जांचा गया प्रमाण एकमात्र ऐसा साक्ष्य है जिसे इससे फर्क नहीं पड़ता कि मॉडल कितना चतुर लगा — प्रमाण या तो संकलित होता है या नहीं। यह पहली बार है कि किसी ने पूरे रिपॉज़िटरी के पैमाने पर इस कसौटी पर एजेंटों को मापा, और उत्तर है: आसान दो-तिहाई पार कर लेते हैं, कठिन एक-तिहाई को छूते तक नहीं। अगली बार जब किसी कोडिंग एजेंट को 'भरोसेमंद' कहा जाए, यह संख्या याद रखने लायक है।
ऐप में पढ़ें — मुफ़्त, 9 भाषाएँ
संबंधित खबरें
मशीन लर्निंग ने बीमार मस्तिष्क कोशिकाओं का आकार पढ़ा और नौ पहले से स्वीकृत दवाएँ चुनीं जिन्होंने उन्हें शांत किया2026-08-21अफवाह: जिस गुमनाम मॉडल ने मुफ्त में कोडिंग बेंचमार्क में शीर्ष स्थान लिया, वह कथित तौर पर झिपू का अघोषित फ्लैगशिप है
2026-08-21डीपसीक का सस्ता वर्कहॉर्स अब देख सकता है — और आँखों वाली एजेंट कार्यों में वह एंथ्रोपिक के सर्वश्रेष्ठ के करीब होने का दावा करता है
2026-08-21एनवीडिया प्रतिद्वंद्वी की "मॉडल बनाने वाली मशीन" के लिए 6 अरब डॉलर दे रहा है — और उसे चलाने वाले 109 लोगों को नौकरी दे रहा है
2026-08-21एआई को प्रशिक्षित करने का तरीका सुधारने के लिए चार घंटे और एक जीपीयू दिया गया: सर्वश्रेष्ठ एजेंट को 1 में से 0.25 मिले — और अधिकांश ने कोशिश ही नहीं की
2026-08-21