Vier Stunden und eine GPU, um die Art zu verbessern, wie KI trainiert wird: Der beste Agent kam auf 0,25 von 1 — und die meisten versuchten es gar nicht erst

Ein am 20. August auf arXiv veröffentlichter Benchmark namens AI4AI-Bench prüft etwas Engeres und Interessanteres als die üblichen Programmiertests: Kann ein KI-Agent die Algorithmen verbessern, mit denen KI trainiert wird? Der Aufbau besteht aus zehn eingefrorenen Forschungs-Repositories, die zehn Familien von Trainingsalgorithmen abdecken. Ein Agent hat vier Stunden auf einer einzelnen B300-GPU, um den Trainingscode zu verändern; das Ergebnis läuft anschließend bis zu zwölf Stunden und wird gegen verborgene Benchmarks bewertet, auf einer Skala, in der 0 ein nichtssagendes Modell, 0,1 den unveränderten Ursprungsalgorithmus und 1,0 das beste bekannte Ergebnis bezeichnet. Über 29 Konfigurationen von sechs Systemen auf allen zehn Aufgaben lag der Mittelwert bei 0,166, das beste Einzelsystem bei 0,250. Die aufschlussreichste Zahl handelt gar nicht von Leistungsfähigkeit. Systeme, die tatsächlich eine Änderung am Algorithmus versuchten, kamen im Schnitt auf 0,226 gegenüber 0,126 bei denen, die es nicht taten — und mehr Rechen- und Denkaufwand hob den Anteil der Läufe mit Änderungsversuch von 8 auf 64 Prozent und den Mittelwert von 0,094 auf 0,196. Die Arbeit ist ein Preprint und nicht begutachtet.

✓ Verifiziert · 2 Quellen

Verwandte Meldungen