Команда Qualcomm AI Research представила MobileWan — оптимизированную модель Wan2.2 5B, которая позволяет генерировать качественное видео непосредственно на смартфонах. Благодаря архитектурной оптимизации и методам дистилляции, модель достигла рекордных показателей производительности для мобильных решений, устанавливая новый стандарт качества в сегменте Edge AI.
Что произошло
Qualcomm AI Research разработала MobileWan, оптимизированную версию модели Wan2.2 5B для работы на мобильных платформах. Основные технические улучшения включают архитектурную «хирургию» с удалением около 23% голов внимания и внедрение гибридного механизма внимания (linear + softmax). Использование технологии дистилляции шагов (DMD) позволило сократить процесс денойзинга всего до 3 шагов. В результате генерация 5-секундного видео (81 кадр, разрешение 480x832 px, 16 fps) занимает около 20 секунд. По бенчмарку VBench модель набрала 83.79 балла, что является рекордом для мобильных моделей видеодиффузии.
Контекст
Традиционно тяжелые модели видеогенерации, основанные на архитектуре Diffusion Transformer (DiT), требуют огромных вычислительных мощностей облачных GPU. Проект MobileWan направлен на перенос этих процессов на edge-устройства (периферийные устройства), такие как смартфоны, используя агрессивный прунинг и дистилляцию для снижения вычислительной нагрузки без катастрофической потери качества.
Почему это важно для индустрии
Для индустрии это важный технологический сдвиг: доказана возможность запуска сложных DiT-моделей на мобильных чипсетах с приемлемой задержкой. Это открывает путь к интеграции продвинутых генеративных функций непосредственно в стандартные SDK мобильных платформ и смещает фокус R&D с разработки исключительно «больших» моделей на создание максимально эффективных архитектур для локального инференса.
Почему это важно для пользователей
Для конечных пользователей это означает появление приложений, способных создавать короткие видеоролики прямо в телефоне. Локальная генерация обеспечивает мгновенный отклик без задержек, связанных с передачей данных на сервер, а также повышает приватность контента, так как данные не покидают устройство.
Источники
- MobileWan: Closing the Quality Gap for Mobile Video Diffusion (GitHub)
- MobileWan Model Card (Hugging Face)
- MobileWan: arXiv:2607.06173
Автор
Look at AI, редакция