El razonamiento cifrado no está cifrado: un modelo débil te leerá los pensamientos ocultos de uno fuerte, palabra por palabra

El 10 de agosto un equipo del Instituto ELLIS de Tubinga y del Instituto Max Planck de Sistemas Inteligentes publicó "Stealing Reasoning Traces from Proprietary LLM APIs". Anthropic, OpenAI y Google ocultan la cadena de razonamiento de sus modelos del mismo modo: el razonamiento se cifra y se devuelve al cliente, que reenvía ese texto cifrado con la petición siguiente. Los investigadores descubrieron que esos bloques son totalmente intercambiables entre sesiones, usuarios y modelos dentro del ecosistema de un mismo proveedor: basta con dar el razonamiento cifrado de un modelo insignia a otro más pequeño y peor protegido de la misma empresa para que lo descifre e imprima el texto oculto literalmente. El artículo demuestra cuatro consecuencias: esquivar las defensas antidestilación, extraer datos privados, sacar a la luz contenido peligroso que el proveedor había filtrado e inyección de instrucciones invisible. Después, el equipo recolectó 315.320 bloques cifrados de repositorios públicos y los decodificó, recuperando 367 datos personales y 182 credenciales en uso.

✓ Verificado · 3 fuentes

Noticias relacionadas