Представлен SAM-MT — инновационный фреймворк для интерактивной мультитаргетной сегментации видео, построенный на архитектуре SAM2. Модель позволяет одновременно отслеживать множество объектов с помощью простых кликов, сохраняя высокую скорость работы и низкое потребление видеопамяти.
Что произошло
Разработчики представили SAM-MT, который обеспечивает производительность свыше 36 FPS при отслеживании 10 целей на видеокарте RTX A6000. Фреймворк использует два ключевых архитектурных решения: decoupled masked attention для предотвращения помех между масками разных объектов и sparse memory для эффективного временного моделирования без накопления избыточных данных.
Контекст
Существующие модели сегментации, такие как SAM2, сталкиваются с проблемой масштабируемости: вычислительная сложность и задержки растут пропорционально количеству отслеживаемых объектов. SAM-MT решает эту проблему, внедряя query-driven подход, который позволяет поддерживать эффективность, сопоставимую с сегментацией одного объекта, даже в многообъектных сценах.
Почему это важно для индустрии
Для индустрии AI и систем компьютерного зрения SAM-MT является важным шагом к промышленному использованию мультитаргетной сегментации. Он снижает порог входа для создания сложных систем трекинга и открывает возможности для разработки масштабируемых инструментов видеоаналитики, способных работать в реальном времени на edge-устройствах и в автономных системах.
Почему это важно для пользователей
Для конечных пользователей и разработчиков это означает появление более быстрого и «умного» инструментария. Теперь можно выделять сразу множество объектов в сложных или многолюдных сценах в реальном времени, не дожидаясь длительной последовательной обработки каждого объекта по отдельности.
Источники
- SAM-MT: Real-Time Interactive Multi-Target Video Segmentation
- FudanCVL/SAM-MT GitHub Repository
- SAM-MT on Hugging Face
Автор
Look at AI, редакция