Представлен OrbitQuant — инновационный метод посттренировочной квантизации (PTQ) для диффузионных трансформеров (DiT), работающих с изображениями и видео. Благодаря использованию RPBH-ротации (Randomized Permuted Block-Hadamard) технология становится data-agnostic, что позволяет стабилизировать распределение активаций без необходимости в калибровочных данных.
Что произошло
Разработчики представили метод OrbitQuant, который устанавливает новый уровень производительности (SOTA) для таких моделей, как FLUX.1, Wan 2.1 и CogVideoX. Технология позволяет эффективно использовать режим W2A4 (2 бита для весов и 4 бита для активаций), обеспечивая высокое качество генерации даже при экстремальном сжатии.
Контекст
Традиционные методы квантизации диффузионных моделей часто сталкиваются с проблемой нестабильности активаций на разных временных шагах (timesteps) генерации. Это обычно требует дорогостоящей перекалибровки под конкретные условия, что усложняет процесс развертывания моделей.
Почему это важно для индустрии
Для индустрии OrbitQuant решает проблему нестабильности активаций, позволяя использовать единый кодовый словарь (codebook) для всех условий без перекалибровки. Это упрощает и ускоряет развертывание тяжелых DiT-архитектур на различном оборудовании и снижает стоимость инференса.
Почему это важно для пользователей
Пользователи смогут запускать сверхмощные генераторы видео и изображений, такие как FLUX или Wan, на потребительском железе с меньшим объемом видеопамяти (VRAM). Это значительно снижает порог входа для локального использования высококачественного AI-генеративного контента.
Что пока неизвестно / ограничения
На текущий момент открытый код и веса модели не опубликованы, что ограничивает возможность практической проверки производительности и интеграции в production-среды.
Источники
Автор
Look at AI, редакция