Представлен фреймворк ID-V2V, который позволяет радикально изменять окружение, освещение и стиль видео, сохраняя при этом ключевые черты лица, микромимику и синхронизацию губ персонажа на основе одного измененного кадра.
Что произошло
Разработан метод ID-V2V для identity-preserving видео-рестилизации. Система использует разделение задач: синтез нового окружения и фиксацию личности через релайтинг (relighting) и карты нормалей лица. Технологический стек базируется на архитектурах Wan2.1, SAM3 и DiT, а для контроля глубины применяются DAViD и DepthAnything-V2. Метод позволяет изменять сцену и освещение, строго сохраняя направление взгляда и мимику персонажа.
Контекст
Главной проблемой текущих генеративных моделей видео является дефицит парных данных (video-to-video pairs) для обучения. ID-V2V решает эту задачу, используя технику инверсии релайтинга для создания высококачественных обучающих пар из обычных одиночных видео.
Почему это важно для индустрии
Для индустрии это означает переход от простой генерации контента к контролируемой рестилизации. Это позволяет использовать нейросети в профессиональном продакшене, сохраняя актерскую игру при смене локаций или условий освещения. Кроме того, метод предоставляет новый способ создания синтетических датасетов для обучения будущих видеомоделей.
Почему это важно для пользователей
Пользователи получают инструмент, позволяющий «переодеть» или переместить человека из одного видео в совершенно иную обстановку без превращения его в цифрового двойника. Это значительно повышает управляемость видео-нейросетей и качество визуальных эффектов без необходимости проведения повторных съемок.
Что пока неизвестно / ограничения
Высокая сложность пайплайна, включающего каскад тяжелых моделей, создает серьезные вызовы для обеспечения real-time inference и операционной стабильности при интеграции в рабочие процессы.
Источники
- ID-V2V Project Page
- [arXiv:2607.22830 [SIGGRAPH Asia 2026]](https://arxiv.org/abs/2607.22830)
- Eyeline-Labs/ID-V2V GitHub
Автор
Look at AI, редакция