Дор Коэн (Dor Cohen) опубликовал разбор What Can AI Actually Hack? Inside Frontier Labs' Tests: он делит атакующие способности ИИ на четыре уровня — от поиска флага в задаче CTF до превращения известного бага в рабочий эксплойт — и сводит в одном месте статистику того, как быстро модели проходят каждый из них. Нижние уровни уже насыщены, и лаборатории закрывают соответствующие бенчмарки, а передний край сместился к синтезу эксплойтов: на ExploitBench модели за считанные месяцы выросли от единичных процентов до 73% у Claude Opus 5.5. Разбор впервые даёт и количественную оценку защит: с включенными митигациями успешных эксплойтов почти в три с половиной раза меньше.

image
image

Что произошло

Исследователь Дор Коэн (Dor Cohen) опубликовал в своём блоге материал What Can AI Actually Hack? Inside Frontier Labs' Tests, после чего статья собрала обсуждение на Hacker News. В ней он раскладывает атакующие способности языковых моделей на четыре уровня сложности и сводит в одном месте динамику результатов. На нижнем уровне, где модель ищет флаг в задаче CTF, бенчмарк InterCode-CTF показывает рост с 35% в марте 2024 до 95% в декабре 2024. Средние уровни, где модель превращает известный баг в рабочий эксплойт, практически решены: OpenAI закрыла CVE-Bench после того, как GPT-5.3-Codex в феврале 2026 решил 90% задач, а Anthropic закрыла CyberGym после 83% у Claude Mythos Preview в апреле 2026. Передний край сейчас — четвёртый уровень, синтез эксплойтов до выполнения кода: на ExploitBench доля моделей, достигающих выполнения кода, выросла с примерно 2% в мае 2026 до 73% у Claude Opus 5.5 к сентябрю 2026. К этой же карте относится и защитная линия: в ExploitGym включение митигаций снижает число успешных эксплойтов со 157 до 45.

Контекст

Карта читается легче, если помнить две вещи. Первая — смена формата измерения: ранние кибербенчмарки были бинарными, модель либо находила флаг, либо нет, и такая метрика грубо и поздно отражает рост способностей. ExploitBench от Carnegie Mellon University устроен иначе: это capability-graded бенчмарк синтеза эксплойтов для V8, который отдельно фиксирует промежуточные шаги на пути к выполнению кода, поэтому прогресс виден раньше финального успеха. Вторая — жизненный цикл самих метрик: по наблюдению автора, публичные бенчмарки атакующих способностей насыщаются примерно за девять-одиннадцать месяцев, после чего лаборатории закрывают их, и у рынка почти не остаётся независимых открытых точек измерения предыдущей генерации. Живыми фактически остаются ExploitBench и SEC-bench Pro, где, например, GPT-6 Astra показывает 85.4% против 51.75% у GPT-6 Luna. Отсюда следствие для конкуренции: нижние этажи атак достаются всем через стандартные API, и умение быстро находить баги перестаёт быть преимуществом и превращается в обычную функцию.

Почему это важно для индустрии

Для индустрии сигнал двоякий. С одной стороны, окно между «модель умеет» и «модель делает это в проде» сужается: нижние уровни уже автоматизированы через существующие API, поэтому агентные копилоты триажа и приоритизации уязвимостей можно строить сейчас, не дожидаясь новых моделей, а сервисы ручного пентеста на этих этажах столкнутся с давлением со стороны автоматизации. С другой стороны, у защитных продуктов появилась метрика: полученная в ExploitGym дельта успешных эксплойтов с включенными митигациями превращает sandbox из общей практики в измеримую особенность, которую можно показывать клиентам. Параллельно eval-практика вынуждена переехать на уровень 4, к градуированным лестницам с промежуточными шагами и собственным, защищённым от утечек корпусам задач: если цикл насыщения сохранится, верхняя точка ExploitBench у Claude Opus 5.5 уже близка к порогу выгорания, а вендоры, вслед за закрытыми бенчмарками предыдущей волны, уйдут в приватные held-out корпуса. Для стартапов открытым остаётся окно в защитных продуктах и живом трекинге способностей.

Почему это важно для пользователей

Для читателя это наглядная карта того, где сейчас проходит граница. Модели уже не просто находят известные баги, а доводят их до выполнения собственного кода, например в движке V8 браузера Chrome. Прогресс можно отслеживать самостоятельно по живым бенчмаркам ExploitBench от Carnegie Mellon и SEC-bench Pro, не дожидаясь пресс-релизов. Если вы используете AI-агентов с правом исполнять код, практический вывод простой: стоит провести инвентаризацию всех мест, где агент получает такое право, и проверить изоляцию — sandbox, права доступа, контроль исходящего трафика. То же касается ваших сервисов, в которых модель генерирует или запускает код: защитные меры в этой карте подкреплены цифрами, так что изоляция таких точек давно не формальность.

Что пока неизвестно / ограничения

Вывод о насыщении за девять-одиннадцать месяцев — авторское обобщение по нескольким точкам, включая InterCode-CTF, CVE-Bench и CyberGym, а не мета-анализ, и независимой проверки у него нет; закрытие бенчмарка вендором может отражать и зрелость самого инструмента, а не только выгорание задач. Главный риск валидности — контаминация: публичные CVE и райтапы могли попасть в обучающие данные, а ни ExploitBench, ни ExploitGym не описывают held-out или приватные задачи, поэтому часть роста с примерно 2% до 73% может объясняться запоминанием, а не генерализацией. Состав митигаций в ExploitGym и их накладные расходы в источнике не раскрыты, так что полученную дельту пока нельзя переносить на конкретные продакшен-конфигурации. Наконец, это карта бенчмарков, а не запуск продукта: ни одного нового производственного инструмента здесь не появилось.

Источники

Автор

Look at AI, редакция