Anthropic soltó a Claude sobre diez de sus propios fallos de alineamiento. En la tarea de engaño sacó 85 donde 28 investigadores humanos de seguridad sacaron 20.

En un artículo publicado el 28 de agosto, Anthropic describe lo que llama un investigador automático de alineamiento: Claude lee la literatura sobre un desalineamiento concreto, propone un método de entrenamiento, lo ejecuta durante unos treinta minutos, lee la puntuación del banco de pruebas y vuelve a intentarlo. En diez categorías de fallo de alineamiento —cada una medida con tres a cinco bancos de pruebas— cerró entre el 26 y el 96 por ciento de la brecha de seguridad sin degradar las capacidades generales del modelo. En la tarea de engaño alcanzó el 85 por ciento en varias ejecuciones; 28 investigadores humanos de seguridad, con hasta ocho horas cada uno, llegaron al 20. Los métodos que encontró se generalizaron a modelos hasta 4,7 veces mayores que aquellos sobre los que se desarrollaron. En la única prueba a escala de producción, Claude Sonnet 5 cerró el 65 por ciento de la brecha de seguridad que quedaba en un punto de control temprano de Claude Opus 4.8 en 60 horas, quedando cerca de las puntuaciones de los modelos ya publicados. El trabajo lo dirigió un becario de Anthropic, Chen Yueh-Han, y se probó en Gemma-2-2B además del punto de control de Opus.

✓ Verificado · 2 fuentes

Noticias relacionadas