Baidu Research выпустила открытую MoE-модель ERNIE-5.5-Flash-Base: при 280 млрд суммарных параметров на каждый токен активно только 14 млрд, около пяти процентов. Окно контекста на дообучении и инференсе доведено до 1 млн токенов, а веса уже доступны в FP8 и BF16 на Hugging Face с поддержкой SGLang и vLLM. По вендорским бенчмаркам модель опережает DeepSeek-V4-Flash-Base, Hy3-preview-Base и MiMo-V2.5-Base в большинстве категорий, однако выпущена пока только базовая версия без instruct-тюнинга.
Что произошло
Baidu Research опубликовала модель ERNIE-5.5-Flash-Base в открытом доступе вместе с техническим описанием релиза. Обучение прошло на 33,5 трлн токенов, пре-трейн велся в окне 128K, а при дообучении и инференсе контекст расширен до 1 млн токенов. Архитектура включает гибридное внимание Latent-Gated Sparse Attention, объединяющее MLA со сжатым механизмом HCA, и блок Multi-Router Latent MoE из 512 экспертов, где на каждый токен выбираются десять основных и один общий эксперт. Отдельный механизм ECHO переиспользует последний слой модели для предсказания нескольких токенов вперед и одновременно служит встроенной draft-моделью для speculative decoding, избавляя от отдельной компактной модели. Заявленные результаты: MMLU 93.3, GPQA 60.2, HumanEval+ 82.3, LongBench-v2 48.7. Веса выложены в форматах FP8 и BF16, поддержка SGLang и vLLM заявлена с первого дня.
Контекст
Спарсенность — ключевая идея релиза: суммарный размер модели определяет её качество и занимаемую память, а вычисления на токен идут только по активной части, поэтому 14 млрд активных параметров из 280 млрд обещают дешёвый инференс. Показательно соотношение обучения и эффективности: примерно 2400 токенов претрейна на каждый активный параметр, что говорит о плотном обучении активной части модели. Второй элемент — управление KV-cache: гибридное внимание со сжатием позволяет удерживать миллионный контекст с разумными затратами памяти, а это критично для агентных сценариев и обработки больших документов, где модели нужно держать в рабочем поле много текста одновременно. Наконец, суффикс Base означает фундаментальную модель без instruct-тюнинга: она не готова к роли чат-ассистента, зато пригодна для continued pretraining и дообучения под конкретные задачи, а полная ERNIE 5.5 Flash с продуктовым поведением ожидается позже.
Почему это важно для индустрии
Для компаний это дешёвая точка входа в self-hosted long-context продукты: агентные пайплайны и обработку больших документов можно строить на собственном железе и дообучать открытую 280B MoE-модель под свои задачи без покупки проприетарного API. Архитектурные приёмы — несколько роутеров для точного подбора экспертов, сжатое внимание под KV-cache и speculative decoding без отдельной draft-модели — показывают конкретные пути снижения стоимости инференса при сохранении качества; если независимые оценки их подтвердят, эти приёмы с высокой вероятностью станут общими местами в открытых моделях, а связка сотен миллиардов суммарных параметров с единицами-десятками миллиардов активных и многомиллионным контекстом превратится в ориентир соотношения качество и стоимость. Для стартапов есть и другой вывод: доступ к сильной базовой модели перестаёт быть преимуществом, и защищаться теперь придётся данными, вертикальным дообучением и дистрибуцией, а не выбором модели.
Почему это важно для пользователей
Технический читатель уже сегодня может скачать веса базовой модели в FP8 или BF16, поднять эндпоинт на SGLang или vLLM и запустить PoC на контексте 128K. Самый реалистичный сценарий на данный момент — эксперименты, continued pretraining и fine-tuning на собственных данных, а также инференс для внутренних задач: за несколько дней команда сможет измерить соотношение стоимости и качества на своих задачах, включая длинные документы, и сравнить результат с проприетарными API. ECHO ускоряет генерацию за счёт встроенного speculative decoding, поэтому модель удобнее тестировать и в интерактивных сценариях. Для продуктовых чат-задач модель пока преждевременна: вышла только Base-версия без инструктивного тюнинга, готовых chat-сборок и сторонних API-сервисов нет.
Что пока неизвестно / ограничения
Все заявленные бенчмарки вендорские, протокол оценки в материалах релиза не раскрыт, а формулировка «опережает в большинстве категорий» сама по себе допускает широкий разброс, поэтому цифры нельзя засчитывать как доказательство превосходства над DeepSeek-V4-Flash-Base, Hy3-preview-Base и MiMo-V2.5-Base, а LongBench-v2 остаётся вендорским замером, по которому проверяется заявка на сильный длинный контекст. Заявленное ускорение от ECHO правдоподобно по конструкции, но фактический прирост скорости и качество согласования draft-модели с основной в релизе не подтверждены. Ключевых для эксплуатации данных нет: ни показателей latency и throughput, ни требований к железу. Выпущена только Base-версия, и сроки появления полной ERNIE 5.5 Flash с instruct-тюнингом пока неизвестны, так что до её выхода практичнее ограничиться экспериментами, дообучением и перепроверкой метрик на своих задачах.
Источники
Автор
Look at AI, редакция