Компания Empero представила Qwythos-9B — компактную языковую модель на базе разцензуренной Qwen3.5-9B, способную обрабатывать до 1 миллиона токенов благодаря гибридной архитектуре и синтетическому дообучению.
Что произошло
Разработчики Empero выпустили модель Qwythos-9B, которая прошла полное дообучение (full parameter fine-tuning) на 500 миллионах токенов синтетических рассуждений (Chain of Thought), полученных из логов Fable-5 и Mythos-5. Использование технологии YaRN (rope-scaling 4.0) в сочетании с гибридной архитектурой Gated-DeltaNet позволяет модели поддерживать контекстное окно в 1 миллион токенов при субквадратичном росте потребления памяти.
Контекст
В основе модели лежит разцензурированная версия Qwen3.5-9B. Основной фокус разработки был сделан на усилении логических способностей малых моделей (9B) за счет качественных синтетических данных и эффективного масштабирования позиционных эмбеддингов для работы с экстремально длинными текстами.
Почему это важно для индустрии
Проект демонстрирует, что использование масштабных синтетических CoT-данных позволяет малым моделям достигать уровня логики, сопоставимого с гораздо более крупными системами. Это создает путь к созданию эффективных локальных агентов и снижает порог входа для AI-стартапов, позволяя им создавать мощные инструменты без зависимости от проприетарных API.
Почему это важно для пользователей
Пользователи получают мощный инструмент для локальной обработки огромных объемов данных, таких как целые репозитории кода или длинные юридические документы, на потребительском или среднем серверном оборудовании. Благодаря отсутствию жесткой цензуры модель также эффективна в специализированных технических областях, включая кибербезопасность и медицину.
Что пока неизвестно / ограничения
Существует риск для корпоративного комплаенса из-за разцензуренной природы модели. Также отсутствуют конкретные данные о задержках (latency) и точной стоимости инференса, что важно для промышленного внедрения.
Источники
Автор
Look at AI, редакция