💻 Сервинг LLM адаптировали под агентные нагрузки

MIT Han Lab, Georgia Tech, UIUC, UC Berkeley, NVIDIA и OpenAI опубликовали на arXiv Evolving Infra — фреймворк сервинга LLM, который онлайн подстраивается под агентные нагрузки. Узлы переключаются между prefill и decode за секунды, а KV-менеджер по сигналам агентов вытесняет устаревший кэш и бережёт переиспользуемый. На 256 GPU GB300 с GLM-5.2 и Kimi K2.6 средняя задержка ниже до 4,1x, P95 TTFT — до 14x, пропускная способность выше до 2,7x против NVIDIA Dynamo.

🌍 Агентные нагрузки ломают статические prefill-decode кластеры: компактинг обесценивает KV-кэш, а переиспользуемый вытесняется раньше времени — контекст-менеджмент переходит в слой кластера.

👤 Запускаете агентов и упираетесь в латентность или цену инференса — код открыт под MIT, есть docker-образ и API-совместимый роутер.

Источник 1: https://arxiv.org/abs/2611.12304 Источник 2: https://github.com/mit-han-lab/EvolvingInfra