🤖 Moonshot AI опубликовала техотчёт Kimi K3
Компания Moonshot AI представила технический отчёт архитектуры Kimi K3. Модель использует 93 слоя, организованных блоками из 3 слоев KDA и одного глобального слоя MLA. Это позволяет сжимать контекст в фиксированное состояние, предотвращая раздувание кэша при длинных диалогах.
🌍 Переход к гибридным схемам (KDA + MLA) и использование Attention Residuals решают проблему эффективности работы с длинным контекстом и управления ресурсами памяти (KV-кэш).
👤 Kimi K3 обеспечит работу с огромными объемами текста (до миллиона токенов) без критического замедления, что крайне важно для анализа документов и создания ИИ-агентов.
Источник 1: https://github.com/MoonshotAI/Kimi-K3/blob/main/k3_tech_report.pdf