Исследователи Anthropic представили новый метод GRAM (Gradient-Routed Auxiliary Modules), который позволяет изолировать «двойное» знание (dual-use knowledge) в отдельных модулях нейросети. Это обеспечивает возможность создания единой архитектуры, доступ к чувствительным данным которой можно гибко ограничивать или полностью отключать.
Что произошло
Компания Anthropic разработала технологию GRAM, позволяющую физически отделять специализированные знания, такие как данные в области вирусологии или кибербезопасности, от основной весовой структуры модели. В отличие от программных методов обучения отказу, этот подход изолирует знания в специфических нейронах, делая их практически невосстановимыми при попытках взлома или jailbreak-атак.
Контекст
Традиционные методы обеспечения безопасности, такие как RLHF (обучение с подкреплением на основе обратной связи от человека), создают лишь «мягкие» ограничения, которые часто обходятся злоумышленниками. Текущий подход смещается от попыток заставить модель «не говорить» к архитектурному исключению самой возможности доступа к опасной информации через модульную изоляцию.
Почему это важно для индустрии
Для индустрии ИИ это означает переход от дорогостоящего создания множества узкоспециализированных моделей к использованию одной универсальной архитектуры с управляемыми модулями. Это открывает рынок кастомизируемых и безопасных ИИ-продуктов, где уровень доступа к чувствительным знаниям регулируется на уровне инфраструктуры, а не только через API-фильтры.
Почему это важно для пользователей
Для конечных пользователей и исследователей это означает появление более безопасных систем, которые могут быть максимально полезны в научных целях, но при этом лишены инструментов для создания биологического или цифрового оружия в руках злоумышленников.
Что пока неизвестно / ограничения
Необходимо дополнительное изучение влияния метода GRAM на общую производительность моделей и скорость процесса инференса.
Источники
Автор
Look at AI, редакция