VFX-художник heydoughogan представил инновационный рабочий процесс для ComfyUI, который автоматизирует генерацию технических пассов (utility passes) из видео и изображений, заменяя рутинное ротоскопирование нейросетевой сегментацией.
Что произошло
Разработан новый workflow для ComfyUI, объединяющий модели RMBG для удаления фона, SAM3 для текстовой и точечной сегментации объектов, а также специализированные инструменты для сегментации лиц. Система позволяет автоматически генерировать карты глубины (depth maps) и нормалей (normals), подстраиваясь под разрешение и частоту кадров исходного материала.
Контекст
Традиционное создание технических слоев, таких как маски (mattes), карты глубины и нормалей, требует огромных временных затрат и ручного труда специалистов по ротоскопированию. Использование SOTA-моделей сегментации в рамках единого конвейера позволяет перевести эти задачи в полуавтоматический режим.
Почему это важно для индустрии
Инструмент демократизирует высококачественный композитинг, значительно ускоряя пайплайны VFX-производства. Автоматизация подготовки технических слоев открывает путь к созданию специализированных AI-агентов в сфере визуальных эффектов и может привести к изменению стандартов подготовки ассетов в индустрии.
Почему это важно для пользователей
Видеографы, CG-художники и небольшие продакшн-студии получают возможность быстро и дешево получать качественные маски и карты глубины для композитинга и релайтинга, что раньше требовало целых команд специалистов или длительной ручной работы.
Что пока неизвестно / ограничения
Промышленное внедрение в текущем виде ограничено отсутствием API, необходимостью наличия мощных локальных вычислительных ресурсов (GPU) и отсутствием точных данных о задержках (latency) при обработке.
Источники
Автор
Look at AI, редакция