सबसे अच्छे एआई एजेंट ने असली प्रयोगशाला काम का 30% ही पूरा किया
स्टैनफोर्ड के शोधकर्ताओं ने इस हफ्ते Terminal-Bench-Science 0.1 बेंचमार्क जारी किया। सत्तर में से हर काम किसी शोधकर्ता की अपनी प्रयोगशाला के असली कामकाज से लिया गया। Claude Opus 5 आगे है, और हर मॉडल अपने सामान्य बेंचमार्क स्कोर से काफी नीचे रहा।
यह क्यों मायने रखता हैएआई विज्ञान को तेज़ करता है, यह दावा अक्सर जाने-पहचाने जवाबों वाले सवालों पर टिका होता है। यह बेंचमार्क दूसरी बात नापता है कि एजेंट असली प्रक्रिया शुरू से आखिर तक चला पाता है या नहीं।