Администрация Рио-де-Жанейро представила Rio 3.5 Open 397B — масштабную мультимодальную языковую модель, построенную на архитектуре Mixture-of-Experts (MoE) и обладающую экстремально длинным контекстным окном.
Что произошло
Модель Rio 3.5 Open 397B была разработана путем слияния Nex-N2-Pro и Qwen3.5-397B-A17B с применением метода On-Policy Distillation для повышения качества. Несмотря на общий объем в 397 млрд параметров, благодаря архитектуре MoE в каждый момент времени задействовано около 17 млрд параметров. Модель поддерживает контекстное окно объемом до 1 010 000 токенов и распространяется под свободной лицензией MIT.
Контекст
Разработка опирается на использование продвинутых методов передачи знаний от более мощных систем к базовым моделям семейства Qwen. Применение архитектуры MoE позволяет эффективно управлять огромным количеством параметров, обеспечивая высокую производительность при меньших вычислительных затратах на один токен по сравнению с плотными моделями аналогичного масштаба.
Почему это важно для индустрии
Появление мощного решения формата Open Weights с поддержкой сверхдлинного контекста усиливает конкуренцию с проприетарными системами уровня GPT-4. Это демонстрирует эффективность дистилляции знаний и открывает путь к созданию высокопроизводительных локальных аналитических систем, снижая зависимость бизнеса от закрытых API.
Почему это важно для пользователей
Для разработчиков и исследователей это означает возможность использовать возможности моделей уровня SOTA в собственных проектах бесплатно и локально. Огромное контекстное окно позволяет обрабатывать целые книги или масштабные кодовые базы за один запрос, что делает модель идеальной для создания сложных автономных агентов и глубокого анализа данных.
Что пока неизвестно / ограничения
Практическое применение модели ограничено колоссальными требованиями к объему видеопамяти (VRAM) для ее запуска, а также отсутствием публичных данных о задержках (latency) в реальных рабочих сценариях.
Источники
Автор
Look at AI, редакция