Thinking Machines Lab опубликовала рецепт сквозного обучения LLM в 4-битном формате NVFP4: модель проходит весь цикл от препрейна до RL в гибридной схеме пониженной точности. По цифрам компании, это даёт ускорение на 8% в препрейне и на 20% в RL относительно базы MXFP8, превращая 4-битную точность из инструмента квантования для инференса в полноценный режим обучения.
Что произошло
13 ноября 2026 года Thinking Machines Lab опубликовала в блоге материал End-to-End 4-Bit Training с рецептом обучения LLM в пониженной разрядности. Прямой проход в MoE-слоях выполняется в 4-битном формате NVFP4, который занимает 4,5 бита на значение; на ускорителях NVIDIA GB300 он выдаёт до 15 PFLOPS против 5 PFLOPS у MXFP8 и 2,5 PFLOPS у BF16. Обратные проходы идут в MXFP8 со стохастическим округлением, а коммуникации между экспертами MoE сжимаются через случайное преобразование Хадамара в формат S2F6. По заявлению компании, это крупнейшая известная модель, обученная в такой конфигурации от препрейна до RL; потери вычислительной эффективности оцениваются примерно в 2%, и заметного влияния на метрику reward при этом нет.
Контекст
До недавнего времени 4-битные форматы ассоциировались в основном с квантованием уже обученных моделей для инференса, а низкая разрядность в обучении упиралась в три узких места: шум квантования активаций в прямом проходе, нестабильность градиентов в обратном и стоимость all-reduce обменов в MoE-архитектурах. Научную основу подготовила статья NVIDIA Pretraining Large Language Models with NVFP4 (arXiv:2509.25149): там 12-миллиардная модель была предобучена на 10 триллионах токенов с точностью, сопоставимой с FP8-базлайном. Публикация Thinking Machines Lab переносит этот подход на MoE-слои и доводит его до полного цикла с RL, причём каждому узкому месту в схеме противопоставлен свой приём: 4-битный прямой проход работает с шумом квантования активаций, стохастическое округление в MXFP8 отвечает за стабильность градиентов, а преобразование Хадамара с сжатием в S2F6 удешевляет обмены в MoE. Доказательная база двухуровневая: статья NVIDIA описывает результат масштаба 12B на 10T токенов, а блог — перенос рецепта на MoE и сквозной конвейер до RL.
Почему это важно для индустрии
Для индустрии это сдвиг кривой издержек на обучение: NVFP4 становится рабочим форматом не только инференса, но и полного цикла тренировки на железе класса Blackwell (GB300), что напрямую удешевляет препрейн и особенно RL, а с ними — будущую экономику кастомных моделей и посттрейна агентов. Связка NVFP4 в прямом проходе, MXFP8 со стохастическим округлением в обратном и квантованных MoE-коммуникаций задаёт референсный рецепт, который другие лаборатории, ожидаемо, будут воспроизводить и адаптировать. Поскольку рецепт опубликован открыто, дешёвое обучение само по себе перестаёт быть защищаемым преимуществом, и конкурентный ров смещается от владения приёмом к данным, инфраструктуре и исполнению. Для действующих FP8 и BF16 пайплайнов ничего не меняется автоматически: нужны парк Blackwell, поддержка NVFP4 в стеке и перенастройка рецепта под свои модели. Дальнейшая динамика — волна независимых воспроизведений, сравнений MXFP8 с NVFP4-гибридом, конкурирующих рецептов и вызревание тулинга вплоть до опции NVFP4 в облаках и фреймворках — остаётся интерпретацией, а не свершившимся фактом.
Почему это важно для пользователей
Прямого продуктового эффекта у новости нет: рецепт адресован владельцам парков ускорителей класса Blackwell (GB300), а в источниках нет ни публичного API, ни чекпоинтов, ни цен. Практически полезно это командам, планирующим тренировку или RL на Blackwell: рецепт уже можно закладывать в бенчмарки и пилоты, предварительно проверив, поддерживает ли текущий фреймворк NVFP4. Цифры стоит читать аккуратно: пиковые 15 PFLOPS не превращаются в эквивалентное ускорение, потому что часть каждого шага приходится на коммуникации и memory-bound операции, которые 4-битные тензорные ядра не ускоряют; заметно больший выигрыш в RL согласуется с более высокой долей прямых проходов на этом этапе. Оба первоисточника — блог Thinking Machines Lab и статья NVIDIA на arXiv — открыты и позволяют самостоятельно разобраться в рецепте. Удешевление fine-tuning и RFT в облачных API — ожидаемое, но пока не подтверждённое последствие.
Что пока неизвестно / ограничения
Независимого прогона пока нет: в источниках нет ни кода, ни конфигов, ни чужих воспроизведений, поэтому публикация делает рецепт реплицируемым в принципе, но воспроизведённого результата не существует. Цифры ускорения 8% и 20%, потери эффективности около 2% и отсутствия влияния на reward — это заявления самой компании. Формулировка без заметного влияния на reward слаба без раскрытого eval-протокола: возможная деградация от 4-битной точности может проявляться на узкоспециализированных или длинноконтекстных задачах, не попавших в проверочный набор. Неизвестно и поведение рецепта на железе помимо GB300, а также на моделях иного масштаба и архитектуры.
Источники
- End-to-End 4-Bit Training — блог Thinking Machines Lab
- Pretraining Large Language Models with NVFP4 — статья NVIDIA (arXiv:2509.25149)
Автор
Look at AI, редакция