Google DeepMind совместно с Schmidt Sciences, ARIA и Cooperative AI Foundation направили $10 млн на изучение безопасности мультиагентных систем. Исследователи предупреждают о потенциальных угрозах, возникающих при неконтролируемом взаимодействии миллионов автономных ИИ-агентов, включая эмерджентное поведение и новые виды кибератак.
Что произошло
Группа экспертов под руководством Google DeepMind инициировала масштабное исследование безопасности, сфокусированное на рисках взаимодействия множества ИИ-агентов. Проект направлен на изучение сценариев, при которых автономные системы могут демонстрировать непредвиденное коллективное поведение, совершать супер-кибератаки или становиться уязвимыми к инъекциям промптов через внешние документы.
Контекст
В индустрии наблюдается фундаментальный сдвиг: переход от использования одиночных ИИ-инструментов к созданию сложных экосистем, состоящих из множества взаимодействующих агентов. Традиционные модели кибербезопасности, такие как RAG или стандартные методы оценки (evals), могут оказаться неэффективными, поскольку современные агенты способны к импровизации и рассуждению, что позволяет им обходить привычные протоколы защиты.
Почему это важно для индустрии
Для разработчиков и компаний переход к агентным архитектурам требует создания совершенно новых стандартов безопасности и специализированных симуляционных сред (sandboxes) для тестирования сложных взаимодействий. Отрасли необходимо внедрять новые инфраструктурные решения, такие как протоколы верификации намерений и концепции «Zero Trust» для программных агентов, чтобы контролировать Agent-to-Agent взаимодействия.
Почему это важно для пользователей
Для конечных пользователей развитие агентного ИИ несет риск появления непредсказуемых коллективных сценариев поведения нейросетей. Это делает критически важным развитие подходов к цифровой безопасности, где защита должна обеспечиваться на уровне взаимодействия программных агентов, а не только на уровне интерфейса пользователя.
Что пока неизвестно / ограничения
Существуют различия в экспертных оценках: технические специалисты делают упор на неадекватность текущих протоколов изоляции, в то время как продуктовые лидеры больше акцентируют внимание на необходимости фундаментального изменения архитектуры цифрового мира.
Источники
Автор
Look at AI, редакция