🛡 AKM-CLR: защита мультиарендных LLM-инфраструктур
Представлен AKM-CLR — прототип уровня управления (governance layer) для мультиарендных инфраструктур LLM, работающий поверх движков вроде vLLM. Система обеспечивает авторизацию запросов, маршрутизацию адаптеров (LoRA) и блокировку небезопасных запросов до того, как они достигнут бэкенда инференса.
🌍 Это решает проблему изоляции данных в общих AI-инфраструктурах, позволяя безопасно использовать одну GPU-ферму для множества арендаторов без риска утечки контекста.
👤 Разработчикам платформ (RAG, агенты) это дает необходимый контроль доступа, предотвращая несанкционированное использование ресурсов или весов моделей другими пользователями.
Источник 1: https://github.com/irenee28/akm-clr-governance-layer