Выпущена вторая версия адаптера IC-LoRA для модели LTX-Video 2.3 (22B), которая позволяет переносить динамику движения камеры с одного видео на другое. Благодаря обучению на специализированном наборе из 366 видеопар, технология обеспечивает точное копирование сложных многоосевых движений, таких как панорамирование, наезды и вращения, без необходимости использования текстовых описаний.

Что произошло

Разработчики представили IC-LoRA v2 — специализированный адаптер для модели LTX-Video 2.3 с параметрами 22B. Инструмент позволяет использовать референсное видео в качестве визуального прототипа для управления виртуальной камерой в процессе генерации. Для эффективной работы рекомендуется использовать среду ComfyUI и устанавливать разрешение видео не ниже 960x512.

Контекст

Технология In-Context LoRA (IC-LoRA) представляет собой метод управляемой генерации, где вместо текстовых промптов для описания физики движения используются визуальные примеры. Это переводит процесс управления видео из области текстового «угадывания» в область точного копирования физики движения, закрепляя тренд на transition-based и reference-based управлению в генеративном видео.

Почему это важно для индустрии

Для индустрии AI-видеопроизводства это означает переход к более предсказуемым рабочим процессам. Использование IC-LoRA значительно упрощает контроль над динамикой видео в генеративных моделях, позволяя переносить физику движения камеры без необходимости сложной ручной анимации или написания избыточных текстовых инструкций. Это открывает путь к стандартизации 'In-Context' управления (камера, свет, движение) как основного UX-паттерна.

Почему это важно для пользователей

Пользователи и создатели контента получают возможность создавать профессиональные кинематографичные видео, просто показывая нейросети пример нужного движения. Это делает процесс видеопродакшена гораздо более управляемым и снижает порог входа для получения высококачественных результатов в экспериментальных пайплайнах на базе open-weights моделей.

Что пока неизвестно / ограничения

Существуют высокие вычислительные барьеры: модель имеет большой объем параметров (22B), что требует серьезных ресурсов, а эксплуатация метода требует специфического пайплайна в ComfyUI.

Источники

Автор

Look at AI, редакция