🤖 Qwythos: 9B-модель с контекстом в 1 млн токенов от Empero
Выпущена модель Qwythos-9B на базе разцензуренной Qwen3.5-9B. Она прошла полное дообучение на 500 млн токенов синтетических рассуждений (Chain of Thought) из логов Fable-5 и Mythos-5. Благодаря технологии YaRN и архитектуре Gated-DeltaNet, модель поддерживает контекстное окно в 1 млн токенов при субквадратичном росте потребления памяти.
🌍 Демонстрирует эффективность использования синтетических CoT-данных для усиления логики малых моделей до уровня крупных систем.
👤 Инструмент для работы с огромными объемами данных (код, документы) на локальном оборудовании.
Источник 1: https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M