🤖 LTX-Video: генерация видео быстрее реального времени
Lightricks опубликовала техническую статью и arXiv-бумагу (arXiv:2501.00103) о трансформерной диффузионной модели LTX-Video. Video-VAE и денойзинг-трансформер спроектированы вместе: VAE сжимает видео в 192 раза (один токен — блок 32x32x8 пикселей), а декодер сразу восстанавливает пиксели и чистит шум без апскейлера. На H100 модель создаёт 5 секунд видео 768x512 при 24 кадрах в секунду примерно за 2 секунды.
🌍 Единый дизайн VAE и трансформера со сжатием 1:192 резко снижает стоимость генерации: рилтайм-видео реален для интерактивных приложений, live-контента и API-сервисов, где критична задержка.
👤 Код и веса открыты на GitHub и HuggingFace — модель можно запустить локально или через LTX API и LTX Playground и самостоятельно проверить скорость.
Источник 1: https://ltx.io/technical-blog/ltx-video-realtime-video-latent-diffusion Источник 2: https://arxiv.org/abs/2501.00103