Исследователи из Fudan University представили SAM2Matting — инновационный фреймворк, который позволяет достигать профессионального качества матирования (извлечения объектов с мягкими краями) на изображениях и видео в режиме zero-shot.

image
image

Что произошло

Разработчики создали систему, которая разделяет процесс на два этапа: стабильное отслеживание объектов с помощью замороженных трекеров (таких как SAM2.1 или SAM3) и высокоточное восстановление тонких деталей через обучаемые модули ROI Detector и Progressive Alpha Predictor. Несмотря на то, что модель обучалась исключительно на статических изображениях, она демонстрирует SOTA-результаты при обработке видео. Вариант Tiny работает со скоростью до 40 FPS при потреблении около 3.6 ГБ VRAM.

Контекст

Традиционные методы сегментации часто ограничены жесткими границами, а полноценное обучение моделей видео-сегментации (VOS) требует огромных специализированных датасетов. SAM2Matting использует архитектурный декуплинг (разделение), что позволяет использовать мощные предобученные визуальные представления без риска их деградации при дообучении на специфических задачах матирования.

Почему это важно для индустрии

Переход к архитектуре 'tracking + refining' открывает путь к созданию универсальных инструментов для видеомонтажа и дополненной реальности. Это позволяет разработчикам интегрировать качественное выделение сложных объектов в существующие пайплайны через API или локальные плагины, не тратя ресурсы на сбор тяжелых видео-датасетов для обучения.

Почему это важно для пользователей

Пользователи получают доступ к профессиональному инструменту удаления фона, который корректно обрабатывает сложные элементы, такие как волосы, насекомые или полупрозрачные края. Это значительно упрощает процесс создания качественного видеоконтента в режиме реального времени или при постпродакшене без необходимости использования дорогостоящего специализированного оборудования.

Источники

Автор

Look at AI, редакция