Moonshot AI выложила в открытый доступ веса Kimi K3.1 Pro — первой модели серии K3.1, созданной на базе Kimi K3 с помощью масштабного совместного RL по сотням задач. Это MoE-модель на 2,8 трлн параметров, из которых на токен приходится около 104B активных, с контекстом до 1 048 576 токенов и гибридным механизмом внимания Gated DSA. Веса опубликованы на Hugging Face вместе с готовыми рецептами развёртывания в vLLM и SGLang, а сама модель также доступна по API на platform.kimi.ai.

image
image

!image%20active%20%C2%B7%20MOE%20%C2%B7%201024K%20ctx&version=vLLM%200.34.0%2B&path=%2Fmoonshotai%2FKimi-K3.1-Pro)

Что произошло

Moonshot AI опубликовала веса Kimi K3.1 Pro — первого релиза новой серии K3.1. Модель относится к классу MoE: всего 2,8 трлн параметров, около 104B активных на токен, 896 экспертов (по 16 активных на токен) и квантование MXFP4 для весов экспертов; размер контекста — 1 048 576 токенов. Главное архитектурное изменение затронуло механизм внимания: в 24 из 93 слоёв полное внимание Gated MLA заменено на Gated DSA (DeepSeek Sparse Attention) с индексатором top-2048, что ускоряет обработку длинного контекста. Вендор приводит такие результаты: 65.7 на Terminal-Bench 4.0, 94.2 на GPQA-Diamond, 92.1 на BrowseComp и 79.6 на OSWorld V2.1. Веса выложены в репозитории moonshotai/Kimi-K3.1-Pro на Hugging Face, для развёртывания опубликованы рецепты vLLM и SGLang с конфигурациями TP8, DCP8 и NVFP4 KV, а через API на platform.kimi.ai модель доступна под идентификатором kimi-k3.1-pro.

Контекст

Серия K3.1 построена как посттренинг уже существующей базы Kimi K3 масштабным совместным RL по сотням задач, поэтому основной прирост способностей ожидается в агентных сценариях, где модель работает в цикле с инструментами. Механизм Gated DSA носит имя DeepSeek Sparse Attention и отсылает к ранее опубликованной технике DeepSeek: новизна релиза не в изобретении метода, а в переносе и интеграции разреженного внимания в открытые фронтир-веса, причём гибридно — заменой затронуты далеко не все слои, что выглядит консервативным способом получить экономию без отказа от полного внимания целиком. K3.1 Pro продолжает заметный тренд открытых фронтир-моделей: экстремальная разреженность (896 экспертов при 16 активных на токен) в сочетании с нативным квантованием весов экспертов в MXFP4, что и делает миллионный контекст экономически осмысленным. Профиль заявленных бенчмарков — терминал, браузер, компьютерное окружение и научные вопросы — целенаправленно закрывает сильные стороны RL-посттрейна, хотя близкая к насыщению GPQA-Diamond почти теряет различительную силу.

Почему это важно для индустрии

Замена полного внимания Gated MLA на разреженный механизм в открытых фронтир-весах — конкретный шаг к тому, чтобы DSA стал стандартным приёмом для длинного контекста: чем дешевле KV-кэш, тем практичнее становится контекст в миллион токенов. Готовые рецепты vLLM и SGLang с конфигурациями TP8, DCP8 и NVFP4 KV сокращают порог входа в self-hosting: открытые фронтир-модели редко выходят сразу с инструкциями по развёртыванию. Для продуктовых команд такие веса превращают 1M-контекст в рабочую опцию: агентные сценарии с терминалом, браузером и компьютерным окружением, а также работа с длинными документами и репозиториями больше не требуют предварительной фрагментации данных. В экономике агентных продуктов это заметный сдвиг: длинный контекст перестаёт быть премиальной фичей закрытых вендоров, а защитный слой стартапов смещается от тезиса «у нас лучшая модель» к оркестрации, вертикальным данным и дистрибуции, а ключевой выбор для билдера формулируется как «API или self-host». Наличие на открытых весах и базовой Kimi K3, и посттренированной K3.1 Pro дополнительно даёт сообществу материал для изучения вклада RL-посттрейна.

Почему это важно для пользователей

Веса можно скачать с Hugging Face и запустить самостоятельно, но порог высокий: потребуется узел из 8 и более GPU уровня B300 или GB300, так что для большинства команд локальный запуск — пока опция на будущее. Самый быстрый путь проверки — API на platform.kimi.ai с идентификатором kimi-k3.1-pro: без затрат на железо можно прогнать свои агентные и кодовые сценарии (терминал, браузер, длинные документы) против текущего стека и сравнить качество, скорость и цену. Для читателя это одна из самых сильных открытых моделей для агентных задач и кода, доступных для локального развёртывания, а миллионный контекст означает, что целые кодовые архивы и длинные переписки можно отдавать модели целиком, без ручной нарезки на фрагменты.

Что пока неизвестно / ограничения

Цифры бенчмарков пока вендорские: в предоставленных источниках нет независимых воспроизведений и leaderboard-замеров, а также измерений латентности и пропускной способности на реальных нагрузках. Разложения RL-посттрейна на состав задач в источниках не приводится, поэтому вклад именно этой методики оценить нельзя. Цены API в источниках отсутствуют, так что экономическое сравнение с self-hosting придётся проверять самостоятельно. Требование к железу жёсткое: без кластера из 8 и более GPU уровня B300 или GB300 локальный запуск недоступен. Наконец, оценки о том, что гибридный DSA станет стандартом для длинного контекста в открытых моделях, — это экстраполяции, зависящие от подтверждения вендорских результатов и дозревания поддержки DSA и NVFP4 KV в vLLM и SGLang.

Источники

Автор

Look at AI, редакция