Команда Tongyi Lab из Alibaba Group представила Wan-Dancer — иерархический фреймворк, способный генерировать скоординированные танцевальные видео длительностью более одной минуты на основе одной фотографии и музыкального трека.
Что произошло
Wan-Dancer использует двухэтапный процесс: глобальное планирование ключевых кадров и локальное временное уточнение. Это позволяет системе поддерживать разрешение 720p при 30 кадрах в секунду и реализовывать пять различных стилей танца: китайский классический, K-pop, уличный, степ и латиноамериканский. Проект представлен как высококачественное open-weight решение (14B параметров), доступное на Hugging Face.
Контекст
Большинство современных диффузионных моделей ограничены генерацией коротких отрезков (около 20 секунд), что приводит к потере визуальной идентичности персонажа и временному дрейфу при попытках создать длинное видео. Wan-Dancer решает эти проблемы за счет иерархической структуры, обеспечивающей временную когерентность и ритмическую точность на протяжении всей длительности ролика.
Почему это важно для индустрии
Технология представляет собой качественный сдвиг от генерации коротких клипов к созданию long-form контента, устанавливая новую планку для benchmark-задач в индустрии. Однако использование модели на текущем этапе сопряжено с экстремально высокими вычислительными затратами: для инференса требуется кластер из 8 видеокарт NVIDIA A800 80GB, что ограничивает масштабируемость для массовых B2C сервисов.
Почему это важно для пользователей
Для создателей контента и энтузиастов это открывает возможность автоматизированного производства полноценных танцевальных видео и музыкальных клипов из одной статической фотографии. Пользователи смогут получать готовые минутные ролики, где персонаж сохраняет узнаваемость и четко следует ритму музыки, не «рассыпаясь» к середине видео.
Что пока неизвестно / ограничения
Высокий порог входа для коммерческого использования из-за стоимости GPU и текущий преимущественно исследовательский статус проекта.
Источники
Автор
Look at AI, редакция