KillSwitch: эзотерический язык, который специально обманывает LLM

Разработчик dom96 представил эзотерический язык KillSwitch, специально созданный чтобы вводить LLM в заблуждение, и бенчмарк KillSwitch-Bench, где на враждебных задачах лидирует Claude Opus 5 с 66.8% при $1.49 за задачу, а лучший open-weight — Xiaomi MiMo-V2.6-Pro с 38.3%.

Автор Sergey KostenchukОпубликовано 2026-10-18Обновлено 2026-10-18

2026-10-18 Исследования Anthropic

🤖 KillSwitch: эзотерический язык-ловушка для LLM

Разработчик dom96 выложил эзотерический язык KillSwitch: конструкции триггерят safety-фильтры моделей, число букв в идентификаторах меняет поведение кода, а SPEC.md прячет ложь, невидимую человеку. В KillSwitch-Bench coding-агенты решают простые задачи в контейнерах без интернета (лимит $5 и 30 минут, оценка программная). Лидер — Claude Opus 5 (66.8%), лучший open-weight — Xiaomi MiMo-V2.6-Pro (38.3%).

🌍 Бенчмарк меряет не умение писать код, а устойчивость к враждебной спецификации и ложным подсказкам — так чаще всего ломаются агенты в продакшне. Типичный срыв — Failed verification: код работает, но не совпадает с логикой языка.

👤 Всё открыто: таблица 20 моделей с ценами и временем — на bench.killswitch-lang.org, интерпретатор и SPEC.md — на github.com/dom96/killswitch. Источник 1: https://bench.killswitch-lang.org/ Источник 2: https://news.ycombinator.com/item?id=50139549

Источники