किसी अप्रकाशित शोधपत्र की संदर्भ-सूची मॉडल को दें और पूछें कि पत्र क्या कहता है। सबसे अच्छे मॉडल 15 प्रतिशत बार सही होते हैं।

Qingqing Mao और सहयोगियों द्वारा 17 अगस्त को arXiv पर रखा गया Reconstruction नामक बेंचमार्क सामान्य तर्क-मूल्यांकनों से अधिक संकीर्ण और कठिन चीज़ जाँचता है: क्या कोई मॉडल केवल प्रकाशन-पूर्व संदर्भ-सूची से किसी शोधपत्र का केंद्रीय विचार निकाल सकता है? मूल शोधपत्र को, उसी समय या बाद में प्रकाशित हर चीज़ के साथ, छिपा दिया जाता है, संदर्भों के शीर्षक हटाकर गुमनाम आईडी दी जाती हैं, और एक अलग भाषा मॉडल तय करता है कि प्रस्तावित परिकल्पना असली से मेल खाती है या नहीं। छह वैज्ञानिक क्षेत्रों के 643 शोधपत्रों पर सात अग्रणी मॉडल छिपाए गए विचार से लगभग 3 से 15 प्रतिशत बार ही मेल खा सके। फिर लेखकों ने उन्हीं मॉडलों को एक पाइपलाइन में जोड़ा जहाँ वे एक-दूसरे की परिकल्पनाओं की समीक्षा करते हैं और प्रतिस्पर्धी स्लॉट पर स्विस-प्रणाली टूर्नामेंट चलता है; इससे मेल दर बढ़कर लगभग 23 से 42 प्रतिशत हो गई, यानी सर्वश्रेष्ठ एकल मॉडल की करीब 2.4 गुना।

✓ सत्यापित · 2 स्रोत

संबंधित खबरें