Исследования 2026-08-12

Зашифрованные рассуждения не зашифрованы: слабая модель зачитает вам скрытые мысли сильной слово в слово

10 августа команда из института ELLIS в Тюбингене и Института интеллектуальных систем Общества Макса Планка опубликовала работу «Stealing Reasoning Traces from Proprietary LLM APIs». Anthropic, OpenAI и Google скрывают цепочку рассуждений своих моделей одинаково: рассуждение шифруется и возвращается клиенту, а тот отправляет шифртекст обратно со следующим запросом. Исследователи обнаружили, что эти блоки полностью взаимозаменяемы между сессиями, пользователями и моделями внутри экосистемы одного провайдера — достаточно передать зашифрованное рассуждение флагманской модели меньшей и хуже защищённой модели той же компании, и она расшифрует и дословно напечатает скрытый текст. В статье показаны четыре следствия: обход защиты от дистилляции, извлечение приватных данных, восстановление опасного содержимого, отфильтрованного провайдером, и невидимая prompt-инъекция. Затем команда выгрузила 315 320 зашифрованных блоков из публичных репозиториев и декодировала их, восстановив 367 фрагментов персональных данных и 182 рабочих учётных ключа.

Почему это важноШифрование решало сразу две задачи: не давать конкурентам дистиллировать рассуждения модели и не давать пользователю увидеть, что модель обдумала и отбросила. Выяснилось, что оно не решало ни одной, потому что замок и ключ уезжали клиенту вместе. Неприятна не сама атака, а эти 315 320 блоков: они пришли от обычных разработчиков, заливших логи агентов в публичные репозитории и не подозревавших, что нечитаемые строки в них — мышление их собственной машины, а в 182 случаях ещё и их действующие API-ключи. Если вы выкладывали расшифровки работы агентов на GitHub, сейчас их можно прочитать.

#ИИ-агенты

✓ Проверено · 3 источников

Читайте в приложении — бесплатно, 9 языков

Зашифрованные рассуждения не зашифрованы: слабая модель зачитает вам скрытые мысли сильной слово в слово

Похожие новости