Bir modele yayımlanmamış bir makalenin kaynakçasını verip makalenin ne dediğini sorun. En iyileri yüzde 15 isabet ediyor.

Qingqing Mao ve meslektaşlarının 17 Ağustos'ta arXiv'e koyduğu Reconstruction adlı ölçüt, alışılmış akıl yürütme testlerinden daha dar ve daha zor bir şeyi sınıyor: bir model, yalnızca yayın öncesi kaynakçasına bakarak bir makalenin merkezi fikrini çıkarabilir mi? Çekirdek makale, aynı anda veya sonrasında yayımlanan her şeyle birlikte saklanıyor, kaynakların başlıkları silinip anonim kimlikler veriliyor ve modelin önerdiği hipotezin gerçeğiyle eşleşip eşleşmediğine ayrı bir dil modeli karar veriyor. Altı bilim alanından 643 makale üzerinde yedi öncü model, saklanan fikri kabaca yüzde 3 ile 15 arasında yakaladı. Yazarlar sonra aynı modelleri, birbirlerinin hipotezlerini incelemelerini ve rakip yuvalar üzerinde İsviçre usulü turnuva yapmalarını sağlayan bir hatta bağladı; bu, isabet oranını yaklaşık yüzde 23-42'ye, yani en iyi tek modelin 2,4 katına çıkardı.

✓ Doğrulandı · 2 kaynak

İlgili haberler