Инженер Carlos Tapia собрал открытый стенд sandbox-conformance, который прогоняет публичные тесты песочниц для AI-кодинг-агентов — sandbox-runtime, nono, Codex CLI, landrun и других — друг против друга по единому набору контрактов. В прогоне 15 октября 2026 года на Linux 6.8 из 79 зафиксированных побегов 61, то есть около 77%, произошли не из-за сбоя настроенного правила, а потому что нужного правила в конфигурации по умолчанию не было вовсе. Стенд опубликован как открытый репозиторий, так что любой его результат можно проверить самостоятельно.

image
image

Что произошло

Carlos Tapia опубликовал репозиторий sandbox-conformance вместе с результатами прогона, проведённого 15 октября 2026 года на Linux 6.8. К 26 октября 2026 года корпус вырос до версии v1.1 и насчитывает 196 контрактов, собранных из публичных тест-свитов самих проектов: sandbox-runtime, nono, Codex, Deno, bubblewrap и OpenHands. Каждый контракт формализует конкретную атаку, легитимный контроль, который обязан её остановить, и проверяемый эффект на диске или в сети. Самой частой категорией побега в этой серии оказался trust-handoff: из 79 зафиксированных случаев 37 описывают сценарий, в котором агент записывает вредоносный git-хук в рабочую папку проекта, а тот исполняется уже за пределами песочницы, когда человек запускает обычный git commit. По состоянию на 27 октября 2026 года автор отправил вендорам шесть отчётов через security-программы: четыре в sandbox-runtime и два в Codex, два из этих отчётов ещё не закрыты.

Контекст

Песочницы для AI-кодинг-агентов изолируют исполнение сгенерированного кода с помощью набора правил, которые определяют, что позволено писать на диск, к чему можно обращаться по сети и что разрешено исполнять. Из этого следует, что их защита держится не только на качестве движка, применяющего правила, но и на полноте самой конфигурации. Подход, выбранный Tapia, переносит в безопасность агентных сред методологию compatibility-сьютов, по которой давно проверяют языки и рантаймы: существует единый корпус ожиданий, и каждая реализация прогоняется по нему на равных условиях. Принципиально, что корпус собран не из атак, придуманных одним исследователем, а из тест-свитов самих песочниц: «родные» ожидания вендоров предъявлены друг другу, что конструктивно снижает риск подгонки результатов под нужный вывод. Исход такого прогона фальсифицируем, а корпус версионирован, поэтому сравнение песочниц между версиями остаётся воспроизводимым.

Почему это важно для индустрии

Для индустрии стенд превращает заявление «у нас есть песочница» из маркетинга в проверяемый контракт: единый корпус контрактов даёт бенчмарк, по которому sandbox-runtime, nono, Codex CLI, landrun и любые другие реализации можно сравнивать на равных условиях, а полнота дефолтной конфигурации становится измеримым параметром продукта. Отправленные отчёты дают вендорам не абстрактную критику, а конкретный список дыр для закрытия через обычные security-программы. Команды, которые строят агентские среды, могут уже сегодня прогонять корпус в CI как обязательный eval-gate при выборе или обновлении песочницы и как основу security-скоринга таких сред. Если вендоры закроют отчёты и внедрят корпус в релизную регрессию, вероятны hardened defaults и рост числа адаптеров, а покрытие публичного корпуса со временем может стать де-факто уровнем совместимости вида «песочница соответствует v1.x» — эта часть является интерпретацией, а не установленным фактом.

Почему это важно для пользователей

Если вы запускаете AI-агентов вроде Codex или Claude Code на собственной машине, практический вывод один: стоит проверить, накрывает ли ваша песочница trust-handoff-сценарии. Агент может оставить файл в .git/hooks или изменить конфиг редактора в рабочей папке проекта, и эти файлы будут позже исполнены легитимными инструментами уже за пределами песочницы, в рамках вашего обычного рабочего процесса. Сюда же относится маскирование секретов: без явного правила окружение может пропустить вывод токенов наружу. Проверка бесплатна: репозиторий sandbox-conformance открыт под лицензией Apache-2.0, в нём лежат сравнительные таблицы результатов по версиям и сырые доказательства, а собственный адаптер песочницы можно прогнать по тем же контрактам, по которым тестировались упомянутые в статье песочницы.

Что пока неизвестно / ограничения

Выводы опираются на один прогон, сделанный 15 октября 2026 года на Linux 6.8: цифра около 77% показывает дефицит дефолтных конфигураций в этой конкретной среде и в эту дату, но ничего не говорит о потолке качества enforcement, поэтому вывод о том, что enforcement стал коммодити, из данных этого прогона не следует. Показатель также не измеряет, насколько качественны enforcement-движки там, где правила настроены. Два из шести отправленных вендорам отчётов ещё не закрыты, так что часть результатов формально не подтверждена производителями. Корпус пока остаётся проектом одного автора, и его дальнейший рост не гарантирован. Публичный сигнал ранний: на момент съёма материала у обсуждения на Hacker News был 1 балл и 0 комментариев, поэтому широкой проверки сообществом ещё не было.

Источники

Автор

Look at AI, редакция