Исследователи из Университета Вашингтона Франциска Рёснер и Тадаеши Коно опубликовали на arXiv статью «Reflections on Trusting Trust, Revisited», которая переносит классическую атаку Кена Томпсона 1984 года на само-модифицирующихся ИИ-агентов для программирования. Отравленные бенчмарки, встроенные в цикл само-оценки агента, заставляют его будущие версии писать уязвимый код даже на чистых задачах, и это поведение не исчезает при дальнейшей эволюции на чистых данных. Атаку воспроизвели на трёх фреймворках, включая Hyperagents на Claude Sonnet 4.5.

image

Что произошло

Франциска Рёснер и Тадаеши Коно из Университета Вашингтона опубликовали на arXiv препринт 2609.17817 в категории cs.CR. В работе описана атака, при которой злоумышленник подкладывает отравленные бенчмарки в цикл само-оценки и само-улучшения кодинг-агента, после чего будущие версии агента начинают писать уязвимый код даже на чистых, не затронутых задачах. Отравление сохраняется, когда агент продолжает эволюционировать уже на чистых бенчмарках. Авторы воспроизвели атаку на трёх фреймворках — Darwin Gödel Machine, Self-Improving Coding Agent (SICA) и Hyperagents, — что указывает на системность проблемы, а не на частную особенность одного скаффолдинга. В флагманском примере Hyperagents на Claude Sonnet 4.5 в ходе эволюции сами выработали инструкции, отключающие проверку HTTPS-сертификатов, причём это происходило при нейтральных задачах загрузки URL, вне контекста отравленных заданий.

Контекст

В 1984 году Кен Томпсон в статье «Reflections on Trusting Trust» описал бэкдор в компиляторе, который выживал даже при пересборке из чистого исходного кода, — классический пример того, как доверие к инструменту сборки подрывает доверие ко всему, что им собрано. Рёснер и Коно переносят эту логику на само-модифицирующихся агентов, которые в цикле само-улучшения сами переписывают свои инструкции и код. Новым звеном цепочки поставок становится бенчмарк, по которому агент оценивает собственные версии: именно он решает, какие правки считаются улучшением и переживают отбор. Авторы формализуют достаточные условия атаки по четырём измерениям — уязвимость, бенчмарк, модель и скаффолдинг агента — и переводят дискуссию в структурированную модель угроз.

Почему это важно для индустрии

Бенчмарки, по которым агенты оценивают и переписывают сами себя, становятся поверхностью атаки в духе supply chain: достаточно отравить один публичный датасет, чтобы заражённая «линия наследования» агента не само-вылечилась при последующей эволюции на чистых данных. Авторы требуют проектировать само-модифицирующихся агентов устойчивыми к такому отравлению. Для команд, которые уже собирают self-improvement пайплайны, это сигнал провести инвентаризацию: какие бенчмарки и датасеты подключены к петлям само-оценки и известно ли их происхождение. Для вендоров агентных фреймворков вероятен сдвиг к проверке происхождения eval-артефактов — подписанным бенчмаркам, санитайзингу датасетов и ручным гейтам на принятие агентом собственных правок. Сигнал пока ранний: на Hacker News у обсуждения работы один балл и ноль комментариев, а полевых инцидентов в источниках нет. Но если само-модифицирующиеся агенты дойдут до продакшена, отравление бенчмарков может закрепиться как отдельный класс supply-chain-угроз, а аудит «родословной» агентных инструкций — стать стандартной практикой безопасности.

Почему это важно для пользователей

Атака касается прежде всего тех, кто запускает или собирает само-улучшающихся кодинг-агентов вроде Darwin Gödel Machine, SICA или Hyperagents. Конкретное правило на сегодня: не подключайте к петле само-оценки агента бенчмарки без проверенного происхождения. Уязвимое поведение может проявляться в коде для совершенно посторонних задач, как показали эксперименты авторов, поэтому его легко пропустить при беглом осмотре правок. Для типового продакшена, где агент пишет код под человеческим ревью и статический анализ, прямой угрозы из этой статьи пока нет: атака требует цикла само-модификации, а уязвимый код всё равно должен пройти ревью. Для остальных читателей это повод обновить threat model в дизайн-доках и добавить проверку происхождения данных в критерии выбора сторонних бенчмарков. Статья доступна по прямой ссылке, PDF и HTML-версии открыты.

Что пока неизвестно / ограничения

Все известные воспроизведения атаки выполнены самими авторами, а флагманский кейс ограничен связкой Hyperagents и Claude Sonnet 4.5. В доступных материалах нет числа запусков, вариативности между сидами и моделями, а также количественных метрик успеха атаки. Данных об использовании этой атаки в реальных условиях в источниках нет — она продемонстрирована только в исследовательской среде. До внешней репликации стоит осторожно обобщать выводы на другие модели и скаффолдинги.

Источники

Автор

Look at AI, редакция