Moonshot AI открыла веса Kimi K3.1 Pro

Moonshot AI выложила открытые веса Kimi K3.1 Pro — MoE-модели на 2,8 трлн параметров (104B активных) с контекстом 1 048 576 токенов, в которой в 24 из 93 слоёв разреженное внимание Gated DSA заменило полное внимание Gated MLA.

Автор Sergey KostenchukОпубликовано 2026-11-04Обновлено 2026-11-04

2026-11-04 Исследования HuggingFace

🤖 Открыты веса Kimi K3.1 Pro

Moonshot AI выложила веса первой модели серии K3.1, посттренированной на базе Kimi K3 масштабным совместным RL по сотням задач. Это MoE на 2,8 трлн параметров (104B активных), 896 экспертов (16 на токен), контекст 1 048 576 токенов, MXFP4 для весов экспертов. В 24 из 93 слоёв Gated MLA заменены на Gated DSA (DeepSeek Sparse Attention), что ускоряет длинный контекст.

🌍 Разреженное внимание снижает стоимость KV-кэша и делает 1M-контекст практически пригодным, а готовые vLLM/SGLang-рецепты сокращают порог входа для self-hosting.

👤 Веса лежат на Hugging Face: можно скачать и запустить модель (нужен серьёзный кластер, 8+ GPU уровня B300/GB300) или попробовать через API kimi-k3.1-pro. Это одна из сильнейших открытых моделей для агентных задач и кода.

Источник 1: https://huggingface.co/moonshotai/Kimi-K3.1-Pro

Источник 2: https://recipes.vllm.ai/moonshotai/Kimi-K3.1-Pro

Источники