Представлен MagicMakeup — специализированный фреймворк на базе Diffusion Transformer (DiT) для максимально точного переноса макияжа с референсного изображения на лицо. Модель, построенная на основе FLUX.1-Kontext-dev, позволяет осуществлять детализированное редактирование, сохраняя при этом полную идентичность черт лица пользователя.
Что произошло
Разработан фреймворк MagicMakeup, поддерживающий разрешение 1024x1024 и обеспечивающий точный региональный контроль над глазами, губами или всем лицом. В основе решения лежат два ключевых модуля: TARG (Token-Aligned Region Gating) для предотвращения выхода макияжа за границы целевых зон и CMPG (Cross-Modal Perception Guidance) для разделения процессов переноса стиля и сохранения анатомических особенностей лица.
Контекст
Современные методы редактирования лиц в задачах image-to-image (i2i) часто сталкиваются с проблемой неточного позиционирования («растекания» эффекта) и искажения идентичности человека при глубоком изменении стиля. Использование архитектуры DiT и механизмов контроля токенов в MagicMakeup направлено на решение именно этих фундаментальных ограничений.
Почему это важно для индустрии
Для индустрии цифровой красоты и видеопродакшена MagicMakeup устанавливает новый стандарт специализированных i2i-решений. Появление качественного open-source референса на базе FLUX.1 позволяет компаниям создавать высокоточные инструменты виртуальной примерки и интегрировать продвинутые механизмы контроля регионов в существующие пайплайны генеративного медиа.
Почему это важно для пользователей
Контент-мейкеры, художники и разработчики бьюти-приложений получают инструмент, позволяющий виртуально «примерять» любой макияж на фото с сохранением полной узнаваемости. Это открывает возможности для создания качественных прототипов приложений для виртуальной примерки косметики и цифрового грима.
Что пока неизвестно / ограничения
Существуют опасения относительно вычислительной сложности и стоимости инференса из-за использования архитектуры FLUX.1, что может ограничить возможности применения модели в real-time сценариях без создания облегченных (distilled) версий.
Источники
- MagicMakeup: A Region-Controllable Diffusion Transformer for High-Fidelity Makeup-Transfer (Project Page)
- MagicMakeup on GitHub
- Anyou/MagicMakeup on Hugging Face
Автор
Look at AI, редакция