जो लोग AI लीडरबोर्ड छापते हैं, उन्होंने वही औज़ार जारी कर दिया जो उनके लीडरबोर्ड को कम अहम बना देता है

Artificial Analysis, जिसकी मॉडल रैंकिंग हर नई रिलीज़ की ख़बरों में उद्धृत होती है, ने 13 अगस्त को Optima की घोषणा की। यह एक स्वयं-सेवा सुविधा है जिससे आप किसी और की सूची पढ़ने के बजाय अपनी ही सामग्री से बेंचमार्क बना सकते हैं। आप एक डेटासेट दे सकते हैं, या Arize, Braintrust या Langfuse जैसे औज़ारों से असली एजेंट ट्रेस आयात कर सकते हैं, या बस सादे शब्दों में अपना उपयोग बता सकते हैं; सिस्टम उम्मीदवार मॉडलों को उस पर चलाकर उसी जोड़ी-आधारित मूल्यांकन विधि से अंक देता है जो कंपनी अपने सार्वजनिक बेंचमार्क में इस्तेमाल करती है। हर रन गुणवत्ता स्कोर के साथ प्रति-कार्य लागत और प्रति-कार्य समय भी बताता है, और आपका अपना एजेंट स्टैक भी HTTP के ज़रिए उसी तुलना में शामिल हो सकता है। मूल्य निर्धारण उपयोग-आधारित है, कोई सदस्यता नहीं। कंपनी लक्ष्य साफ़ रखती है: अपने कार्य के लिए सबसे अच्छा मॉडल खोजें, या उतना ही अच्छा मॉडल जो लगभग दसवें हिस्से की लागत या समय में चले। लॉन्च से पहले परीक्षकों ने इसका उपयोग एक वित्तीय एजेंट के लिए पर्याप्त सस्ता मॉडल चुनने, किसी फ़र्म की क़ानूनी लेखन शैली से मेल बिठाने और अपनी ख़ुद की छवि-श्रृंखला छाँटने जैसे कामों में किया।

✓ सत्यापित · 3 स्रोत

संबंधित खबरें