Baidu открыла ERNIE 5.5 Flash: 280 млрд параметров, но активны только 14 млрд

🤖 Baidu открыла ERNIE 5.5 Flash: 280 млрд параметров, активны 14 млрд

Baidu Research выпустила открытую MoE-модель ERNIE-5.5-Flash-Base, обученную на 33,5 трлн токенов: гибридное внимание Latent-Gated Sparse Attention, MoE с 512 экспертами и механизм ECHO — встроенная draft-модель для speculative decoding. Контекст: 128K на претрейне и до 1M токенов, веса в FP8 и BF16 уже на Hugging Face.

🌍 Для бизнеса это дешёвая точка входа в открытую 280B MoE: дообучение под свои задачи и агентные сценарии без проприетарного API, а оптимизированный KV-cache снижает цену инференса на длинном контексте.

👤 Веса можно запустить через SGLang или vLLM, а ECHO ускоряет генерацию без отдельной draft-модели. По вендорским бенчмаркам: MMLU 93.3, GPQA 60.2, HumanEval+ 82.3.

Источник 1: https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/ Источник 2: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base