Команда Viggle выложила на Hugging Face LoRA-адаптер Viggle/Viggle-Image-Swap для базовой модели Qwen/Qwen-Image-2.1: за шесть шагов инференса он заменяет человека на исходном кадре целиком — лицо, волосы, тело и одежду — персонажем из чарт-листа, сохраняя позу, выражение, кадр, фон и свет. По данным авторов, на ускорителе NVIDIA B200 один кадр генерируется примерно за 2.2 секунды, однако лицензия Qwen Research разрешает пока только исследования и оценку, отсекая коммерческие продукты.
Что произошло
Адаптер опубликован в открытом репозитории Viggle/Viggle-Image-Swap вместе с карточкой модели, демо-примерами и скриптом inference/swap.py. Технически это LoRA-модуль ранга 256 с alpha 256 в точности bf16, обученный поверх Qwen/Qwen-Image-2.1. Базовый режим инференса укладывается в шесть шагов полностью без CFG; в turbo-режиме адаптер делает два шага, а детализацию добирают шестью шагами Qwen-Image-2.1-Turbo. Выходное разрешение — около 1 мегапикселя. Авторы приводят замеры на ускорителе NVIDIA B200: при загруженных моделях около 2.2 секунды на картинку и 46 ГБ пиковой памяти, в turbo — 4.1 секунды и 55 ГБ. Позицию человека в кадре можно задавать обычными словами в промпте — слева, справа, третий слева — что позволяет заменить нескольких людей за один проход.
Контекст
Однопроходный персонаж-своп — ответ на классическую проблему консистентности персонажа: раньше замена человека разматывалась в цепочку детекции, сегментации, inpaint и ручной сборки сцены. Здесь та же задача сведена к единственной few-step операции поверх готовой image-модели: адаптер не вводит новую архитектуру, а комбинирует скоростной CFG-free инференс с цельной заменой фигуры. Персонаж описывается чарт-листом 1536×1024, где слева стоит портрет, а справа — три ракурса в полный рост; такой лист собирается один раз под каждого героя и переиспользуется. Пайплайн дополнен коррекцией тона по неизменному фону, чтобы кадр не темнел и не светлел после замены. По уровню научной новизны это инкрементальная инженерная работа без публичной методологии обучения — ценность в упаковке приема, а не в новой технологии.
Почему это важно для индустрии
Для студий и продуктовых команд адаптер — готовый строительный блок: генерация персонажей, мокапы мерча, стикеры и стилизация больше не требуют дообучения под каждого героя, а смена персонажа превращается в параметр прохода, а не в отдельный проект. Экономика меняется заметнее самой техники: дорогие многоэтапные пайплайны перерисовки персонажа сжимаются до одной дешевой операции, и защищаемая ценность смещается из алгоритмов в права — лицензию базовой модели и IP персонажей. Главный сдерживающий фактор юридический: базовая модель Qwen-Image-2.1 распространяется под лицензией Qwen Research, поэтому на этом стеке сейчас можно строить прототипы и внутренние демо, но для коммерческого запуска потребуется отдельное лицензирование.
Почему это важно для пользователей
Практический сценарий для читателя: скачать адаптер и скрипт inference/swap.py с Hugging Face, собрать собственный чарт-лист с портретом и тремя ракурсами под своего героя, а затем заменить на него себя или любого человека с исходной фотографии, сохранив весь кадр. Расстановку героев в сцене можно описывать словами, а несколько людей заменяются за один проход. Для заявленной скорости нужен ускоритель уровня B200 с запасом видеопамяти; на картах попроще время генерации и потребление памяти заметно вырастут. Видео-демо и примеры в карточке модели показывают ожидаемый уровень результата. Пока это инструмент для исследований и экспериментов — собирать на нем коммерческий продукт рано.
Что пока неизвестно / ограничения
Доказательная база опирается на единственный самоотчётный источник — карточку модели: датасет обучения, методика и количественные метрики сохранения позы, фона, света и сходства с чарт-листом не приводятся, независимых замеров нет. Цифры скорости и памяти заявлены только для B200; поведение на слабом железе можно оценить лишь качественно. Авторы перечисляют известные сбои: новый персонаж иногда остается в одежде исходника, поза может смещаться, а в turbo модель возвращает аксессуары или всего человека из источника. Высокая скорость сама по себе не доказывает качество — проверить адаптер можно только самостоятельным запуском.
Источники
Автор
Look at AI, редакция