🤖 OrbitQuant: эффективная квантизация для диффузионных трансформеров
Представлен метод OrbitQuant для посттренировочной квантизации (PTQ) диффузионных трансформеров (DiT), работающих с изображениями и видео. Благодаря RPBH-ротации метод не требует калибровочных данных и устанавливает SOTA на моделях FLUX.1, Wan 2.1 и CogVideoX, позволяя использовать режим W2A4 без потери качества.
🌍 Технология решает проблему нестабильности активаций на разных шагах генерации, упрощая развертывание тяжелых моделей на потребительском железе.
👤 Мощные генераторы видео и изображений смогут работать быстрее и требовать значительно меньше видеопамяти при сохранении высокой детализации.
Источник 1: https://arxiv.org/abs/2607.02461