Представлена модель Qwen3.6-34B-80L-Fable-5-Heretic, которая сочетает в себе архитектуру Qwen3.6-27B с увеличенным количеством слоев и продвинутыми методами дистилляции агентских траекторий для качественного улучшения логического вывода.
Что произошло
Разработчики выпустили модель Qwen3.6-34B-80L-Fable-5-Heretic, представляющую собой дистилляцию 4665 агентских траекторий Fable-5. В отличие от базовой архитектуры Qwen3.6-27B, данная модель была расширена до 80 слоев, что позволило достичь ~34 млрд параметров. Обучение проводилось методом QLoRA с использованием гибридного механизма внимания (Linear/Full attention) и поддержкой Multi-Token Prediction (MTP) для ускорения инференса.
Контекст
Развитие reasoning-моделей (моделей с цепочкой рассуждений, CoT) требует не только увеличения параметров, но и качественных данных для обучения. Использование специализированных агентских траекторий позволяет переносить сложные логические паттерны в более компактные архитектуры, такие как модели среднего размера (Medium LLMs).
Почему это важно для индустрии
Применение гибридного внимания и MTP-весов существенно повышает пропускную способность при работе с длинным контекстом (до 256K токенов), что критически важно для создания автономных AI-агентов. Дистилляция сложных рассуждений в модели размером 34B открывает путь к эффективному развертыванию мощных reasoning-систем без необходимости использования сверхкрупных проприетарных моделей.
Почему это важно для пользователей
Пользователи получают возможность запускать высокопроизводительную логическую модель на собственном оборудовании среднего уровня. Благодаря оптимизации под vLLM и поддержке спекулятивного декодирования, модель работает примерно в 2 раза быстрее стандартных аналогов при сохранении высокого качества рассуждений, что делает ее идеальной для локальных исследовательских и агентских задач.
Что пока неизвестно / ограничения
Существуют риски, связанные с отсутствием официальной поддержки и потенциальной сложностью контроля модели в корпоративной среде.
Источники
Автор
Look at AI, редакция