Dışarıdan araştırmacılar ilk kez bir laboratuvarın gerçek sohbet kayıtlarını inceledi. Konuşmaların yarısından fazlası sonuç doğuran işlerdi.

Anthropic 26 Ağustos'ta, üç dış gruba gerçek Claude kullanımına bağımsız erişim veren bir pilot çalışmanın sonuçlarını yayımladı: Stanford'un Sosyal ve Dilsel Teknolojiler Laboratuvarı, Oxford'un İnsan Bilgi İşleme Laboratuvarı ve yapay zekâ sistemlerini değerlendiren kâr amacı gütmeyen kuruluş METR. Mekanizma, metin yerine toplulaştırılmış istatistikler döndüren Anthropic Insights adlı bir araç; araştırmacılar ham konuşmaları hiç görmedi. Her ekip kendi çalışmasını tasarladı; çıktılar Anthropic'in kendi iç çalışmalarıyla aynı hukuki ve mahremiyet incelemesinden, ayrıca dışarıya verilen her şey için ek bir denetimden geçti. Her ekip Nisan ve Mayıs 2026'dan yaklaşık 250 bin konuşmaya baktı. Stanford, Claude konuşmalarının yarısından fazlasının insanların sonuç doğuran görevleri devretmesini içerdiğini, hukuki ve finansal danışmanlığın öne çıktığını buldu — bu, insanların hesap verebilirliği düşük işleri devredip ciddi olanları kendilerinde tuttuğu yönündeki önceki varsayımı doğrudan çürütüyor. Konuşmaların dörtte üçüne yakınında işi insan yönetiyor, Claude yardım ediyordu; görev toptan devredilmiyordu. Oxford, modelin sıcaklığının kullanıcıda daha olumlu duyguyla birlikte gittiğini, etkileşim örüntülerinin bir aracın kullanımından çok sıradan internette gezinmeye benzediğini buldu. METR'in Claude Code oturumlarına dair ön okuması, yeni modellerin eskilere göre belirgin hızlanma sağladığını ve Claude'un kendi süre tahminlerinin geliştiricilerin gerçekte harcadığı süreyle makul ölçüde uyuştuğunu gösterdi. Anthropic şimdi bir sonraki tur için başvuru topluyor.

✓ Doğrulandı · 2 kaynak

İlgili haberler