IFM открыла MoE-модель K2-Horizon-MoVA-36B-A4B под Apache 2.0

IFM опубликовала финальный checkpoint открытой MoE-модели K2-Horizon-MoVA-36B-A4B: 36B параметров, 4B активных на токен, собственный приём Mixture-of-Values (MoVA) вместо стандартного внимания, нативный контекст 512K токенов и лицензия Apache 2.0.

Автор Sergey KostenchukОпубликовано 2026-09-04Обновлено 2026-09-18

2026-09-04 Исследования HuggingFace

🤖 IFM открыла MoE-модель K2-Horizon-MoVA-36B-A4B под Apache 2.0

Финальный checkpoint уже на Hugging Face: 36B параметров, на токен активируется 4B, вместо стандартного внимания — собственный приём Mixture-of-Values (MoVA), нативный контекст 512K токенов.

🌍 Если заявленные в model card бенчмарки (58.6% на Terminal-Bench 2.1, 80.8% на GPQA Diamond) подтвердятся, MoVA-внимание станет конкретной архитектурной альтернативой для кодинга и агентных задач, сжимая стоимость инференса.

👤 Запустить можно уже сейчас: на Hugging Face есть кванты 4/6/8-bit и MLX-сборки, в model card — рабочие рецепты vLLM и SGLang; старшая модель семейства — K2-Horizon-375B-A23B.

Источник 1: https://huggingface.co/IFM/K2-Horizon-MoVA-36B-A4B Источник 2: https://huggingface.co/IFM/K2-Horizon-375B-A23B

Источники