Команда MIT Han Lab вместе с инженерами Georgia Tech, UIUC, UC Berkeley, NVIDIA и OpenAI опубликовала фреймворк Evolving Infra — систему сервинга LLM, которая в реальном времени подстраивается под агентные нагрузки без оффлайн-профилирования. В ней разделены вычислительное планирование и управление KV-кэшем: узлы переключаются между режимами prefill и decode за секунды, а кэш вытесняется по сигналам компактинга контекста самого агента. В тестах на масштабе до 256 GPU GB300 с моделями GLM-5.2 и Kimi K2.6 фреймворк снизил среднюю сквозную задержку до 4.1x, хвостовую задержку до первого токена до 14x и поднял пропускную способность до 2.7x по сравнению с NVIDIA Dynamo. Код под лицензией MIT, docker-образ и бенчмарки уже открыты.

image

Что произошло

9 ноября 2026 года на arXiv появился препринт работы Evolving Infra: Agent-Adaptive LLM Serving at Scale с номером 2611.12304, 12 ноября вышла вторая версия. Ключевое архитектурное решение системы — разделение вычислительного планировщика и распределённого менеджера KV-кэша. Планировщик перестраивает соотношение узлов между prefill и decode за секунды без перезапуска кластера, а менеджер использует сигналы контекстного менеджмента агента, прежде всего компактинг истории диалога, как первоклассный вход: протухший кэш вытесняется, переиспользуемый сохраняется. Измерения проводились на масштабе до 256 GPU GB300 с моделями GLM-5.2 и Kimi K2.6 на трёх классах сценариев: coding через Claude Code, math на Putnam и computer-use в OSWorld. В сравнении с продакшн-фреймворком NVIDIA Dynamo средняя end-to-end задержка снизилась до 4.1x, показатель P95 TTFT (хвостовая задержка до первого токена) до 14x, пропускная способность выросла до 2.7x.

Контекст

Классические сервинг-кластеры строятся по результатам профилирования, рассчитанного один раз: часть узлов обслуживает prefill, часть decode, и эти роли зафиксированы. Агентные нагрузки ломают такую статику по двум причинам. Во-первых, coding-агенты и computer-use сценарии перемешивают очень длинные префиллы — результаты вызовов инструментов, выводы команд, объёмный кодовый контекст — с продолжительным декодированием, поэтому оптимальное соотношение узлов меняется прямо во время работы. Во-вторых, агентный harness периодически сжимает контекст: для слоя сервинга это означает, что часть KV-кэша теряет актуальность, а ценный переиспользуемый кэш, наоборот, преждевременно вытесняется стандартными эвристическими политиками. Evolving Infra переносит контекст-менеджмент из слоя агента в слой сервинга: менеджер кэша слушает сигналы компактинга и суб-агентов и меняет политику вытеснения в зависимости от них. Онлайн-адаптация без оффлайн-профилирования — вторая методологическая опора работы, отличающая её от привычного подхода с офлайн-тюнингом кластера под конкретный профиль нагрузки.

Почему это важно для индустрии

Для отрасли это конкретный механизм снижения латентности и стоимости агентного инференса, а не абстрактное улучшение инфраструктуры: хвостовое улучшение до 14x по P95 TTFT против продакшн-фреймворка NVIDIA Dynamo достигается за счёт переделки слоя, который операторы обычно списывают как неустранимую сложность. Для команд, самостоятельно хостящих open-weight модели класса GLM-5.2 и Kimi K2.6, слой сервинга становится источником прямой экономии на длинных агентных запусках. Поскольку код опубликован под лицензией MIT, оба ключевых механизма — динамический PD-сплит и вытеснение KV-кэша по сигналам контекстного менеджмента — воспроизводимы кем угодно, а оборонительные рвы вокруг «умного сервинга» размываются. Если независимые измерения подтвердят цифры, следует ожидать появления похожих функций в мейнстрим-сервинг-фреймворках и обсуждения стандартизированного контракта «context events» между агентным harness и кластером; в горизонте пары лет вероятен переход к ко-дизайну харнеса и вычислений.

Почему это важно для пользователей

Если вы запускаете LLM-агентов — Claude Code, Codex или собственные harness — и упираетесь во время реакции или цену инференса, систему можно попробовать на своём трафике, не дожидаясь вендоров. Для этого опубликован docker-образ docker.io/weili0234/evolving-infra:v0.1.0, собранный для x86_64 (H200, B300) и aarch64 (GB300); свой агент подключается через API-совместимый роутер, переписывать прикладной код не нужно. Репозиторий устроен «агент-нативно»: деплой и прогон бенчмарков автоматизированы через coding-агента по skills, что заметно снижает порог входа. Тем, у кого нет H200, B300 или GB300, работа всё равно полезна как открытый референс того, как компактинг контекста и параллельные суб-агенты влияют на KV-кэш и планирование вычислений, а опубликованные бенчмарк-цифры пригодятся как аргумент в переговорах с провайдерами инференса.

Что пока неизвестно / ограничения

Работа остаётся препринтом: peer review ещё не пройден, и что именно изменилось между версиями v1 от 9 ноября и v2 от 12 ноября 2026 года, из открытых материалов не видно. Заявленные «до 14x» — это хвостовой показатель P95 TTFT в лучшей конфигурации на масштабе до 256 GB300 против NVIDIA Dynamo; из него не следует ни почти мгновенная обратная связь, ни автоматическое кратное удешевление каждого агентного инференса — более консервативный ориентир это средняя end-to-end задержка, сниженная до 4.1x, при пропускной способности до 2.7x. Влияние на другие классы ускорителей, другие модели и не покрытые в работе типы нагрузки пока не измерено. Независимых репликаций пока нет, хотя открытый код и docker-образ упрощают их проведение.

Источники

Автор

Look at AI, редакция