🎨 Видео-диффузия стала управляемым 3D-аватаром из одного фото
Команда Маттиаса Несснера из TU Munich выпустила Video Diffusion Avatars (VDA): модель WAN2.2-Animate-14B дообучена в 3D-аватар по одному фото (адаптер 6,5 ГБ, 34 часа на A100). Приём «camera-triplet» (момент с трёх камер) учит модель мыслить головой в 3D и устранять зависимость мимики от ракурса.
🌍 Видео-диффузионные модели теперь дообучаются в 3D-аватары вместо пайплайнов 3DMM и NeRF: VDA сам создаёт тени, отражения, преломления и динамику волос. Персонажей для виртуальных спикеров, VFX и аватаров делать проще.
👤 Из одного фото камера облетает голову по любой траектории, мимика до языка и поза корпуса управляются отдельно. Работает и на нарисованных персонажах. Код и веса открыты под CC BY-NC-SA 4.0 (некоммерчески), нужны диск ~65 ГБ и GPU 48–80 ГБ.
Источник 1: https://simongiebenhain.github.io/video-diffusion-avatars/ Источник 2: https://arxiv.org/abs/2610.23772