Thinking Machines Lab обучила LLM в 4-битном NVFP4

🤖 Thinking Machines Lab обучила LLM в 4-битном NVFP4

Компания 13.11.2026 опубликовала рецепт сквозного обучения MoE-LLM: форвард в NVFP4, бэкворд в MXFP8 со стохастическим округлением, MoE-связь через случайное преобразование Хадамара в формат S2F6. Заявлены +8% в препрейне и +20% в RL против MXFP8 при потере эффективности ~2%, независимого повтора и кода нет.

🌍 4-битный NVFP4 становится рабочим форматом не только инференса, но и полного цикла обучения на Blackwell — это удешевляет препрейн и RL. Рецепт из NVFP4-форварда, MXFP8-бэкворда и квантованной MoE-связи задаёт референс для других лабораторий.

👤 На NVIDIA GB300 это 15 PFLOPS против 5 у MXFP8 и 2,5 у BF16 — 4-бит уже режим обучения, а не только инференса. База — статья NVIDIA (arXiv:2509.25149): 12B-модель, 10 трлн токенов, точность уровня FP8.

Источник 1: https://thinkingmachines.ai/blog/end-to-end-4-bit-training/ Источник 2: https://arxiv.org/abs/2509.25149