Исследователи Университета штата Северная Каролина (NC State University) — Jianwei Li, Jung-Eun Kim и Min-Seon Kim — представили набор из трёх методов, которые находят и удаляют скрытые backdoor-триггеры в больших языковых моделях. По заявлению авторов, для очистки не требуется ни знание самого триггера, ни чистая эталонная модель, ни дообучение пострадавшей сети. Две работы приняты на конференцию NeurIPS 2026, ещё одна — на ICLR 2026.

image

Что произошло

Университет опубликовал пресс-релиз, описывающий три метода, каждый из которых работает на своём уровне модели. Null-space projection проецирует LoRA-обновления в ортогональные нулевые пространства на уровне признаков. Expert Quarantine and Shutdown (QES) маршрутизирует триггерное поведение в изолированный expert-модуль, который затем отключается одним действием на этапе деплоя, то есть защита срабатывает на уровне архитектуры. Immunization-подход выявляет общую «подпись бэкдора» по синтетическим вариантам модели и нейтрализует подозрительные компоненты на уровне весов. По заявлению авторов, показатель успешных атак (ASR, attack success rate) падает с примерно 100% до менее чем 10% для null-space projection и до 0–10% для QES; оценка выполнена на двух задачах, трёх атаках и четырёх семействах моделей. Две статьи приняты на NeurIPS (6–13 декабря 2026 года), одна — на ICLR (23–27 апреля 2026 года).

Контекст

Backdoor-атака строится на скрытом триггере: модель ведёт себя нормально почти всегда и переключается на заданное атакующим поведение — например, исполняет опасную команду или выдаёт вредоносный ответ — только при появлении в запросе специального сигнала. До эры массового дообучения такая угроза оставалась нишевой, однако сейчас организации регулярно дообучают модели под свои задачи, от финансовых расчётов до помощи в разработке ПО, а тысячи LoRA-адаптеров расходятся по открытым хабам и попадают в production-пайплайны. Так формируется цепочка поставок моделей, которая структурно напоминает цепочку поставок кода со всеми её рисками. Классические защиты от бэкдоров требовали заранее известного триггера, чистой модели-эталона для сравнения либо полноценного переобучения сети, поэтому пред-деплойная проверка оставалась дорогой процедурой и на практике почти не выполнялась. Именно отсутствие этих предпосылок в новом фреймворке — главное отличие от прежнего состояния дел.

Почему это важно для индустрии

Для команд, которые дообучают модели под конкретные задачи, набор из трёх методов — это каркас нового шага релизного цикла: backdoor-сканирование кастомных моделей и особенно LoRA-адаптеров до вывода в production. Деплоить пока нечего: статьи и код в открытых источниках недоступны, а все цифры остаются заявлениями авторов без независимых репликаций. Практический эффект сегодня процессный: чужие адаптеры разумно считать недоверенными артефактами, которые проходят аудит до попадания в serving, а заявленные ориентиры по ASR использовать при постановке собственных eval'ов и при оценке claims вендоров. Если результаты подтвердятся на воспроизводимых данных, сканирование бэкдоров может занять в модельном CI/CD ту же нишу, какую в классическом security занимает сканирование зависимостей. После докладов на NeurIPS и ICLR вероятны открытые тексты статей, код и первые сторонние реализации, прежде всего null-space projection для LoRA-пайплайнов и первые пайплайны проверки адаптеров в релизных процессах.

Почему это важно для пользователей

Для читателя вывод прагматичный: если вы доверяете дообученной модели, своей или чужой, критичные действия, эти работы показывают, что бэкдор в принципе можно обнаружить и убрать до релиза, не разбираясь вручную в весах. Пока готовых инструментов в открытом доступе не появилось, разумная стратегия — относиться к сторонним fine-tune и адаптерам как к недоверенному коду до проверки, а заявления компаний о защите от бэкдоров сравнивать по публикуемым метрикам успешных атак, которые дают конкретный ориентир для оценки эффективности. Концепт Secret Alignment из этих же работ намекает, что механику триггера можно переосмыслить: уязвимость превращается в механизм авторизации, решающий, что и кто имеет право запустить в модели.

Что пока неизвестно / ограничения

Всё изложенное опирается на университетский пресс-релиз: сами статьи и код в предоставленных источниках отсутствуют, поэтому воспроизвести цифры сторонним путём пока нельзя. Валидация ограничена небольшим набором задач, атак и семейств моделей, названным в пресс-релизе, и обобщение за его пределы не показано. Данных об адаптивных атаках, когда атакующий знает о защите, нет, как и данных о влиянии методов на качество модели на чистых задачах. Неизвестно, как три метода ведут себя в комбинации и распространяется ли эффект на другие типы триггеров. Независимой технической дискуссии почти нет: в обсуждении на Hacker News два балла и один комментарий. До появления полноценных публикаций и сторонних репликаций строить SLA или артефакты вроде отчёта о чистоте модели на авторских метриках рано.

Источники

Автор

Look at AI, редакция