Con cuatro horas y una GPU para mejorar la forma en que se entrena la IA, el mejor agente sacó 0,25 sobre 1 — y la mayoría ni lo intentó

Un banco de pruebas publicado en arXiv el 20 de agosto, AI4AI-Bench, examina algo más estrecho y más interesante que las evaluaciones habituales de programación: ¿puede un agente de IA mejorar los algoritmos que se usan para entrenar IA? El montaje consta de diez repositorios de investigación congelados que cubren diez familias de algoritmos de entrenamiento. El agente dispone de cuatro horas en una sola GPU B300 para modificar el código de entrenamiento; el resultado se ejecuta después hasta doce horas y se puntúa contra pruebas ocultas en una escala donde 0 es un modelo sin información, 0,1 es el algoritmo original sin modificar y 1,0 es el mejor resultado conocido. En 29 configuraciones de seis sistemas sobre las diez tareas, la puntuación media fue 0,166 y el mejor sistema individual alcanzó 0,250. La cifra más reveladora no habla de capacidad en absoluto. Los sistemas que sí intentaron modificar el algoritmo promediaron 0,226 frente a 0,126 de los que no lo intentaron, y al subir el esfuerzo de razonamiento la proporción de ejecuciones que intentaron un cambio pasó del 8 % al 64 %, elevando la media de 0,094 a 0,196. El artículo es una preimpresión y no ha sido revisado por pares.

✓ Verificado · 2 fuentes

Noticias relacionadas