Исследователи из Национального университета Сингапура представили PadCaptioner — компактную мультимодальную модель размером 3B параметров, которая способна эффективно выполнять плотное описание видео (dense video captioning), используя аудио и видео данные.

image

Что произошло

Разработанная модель PadCaptioner использует механизм латентного планирования (latent planning) для выявления локальных зависимостей между событиями. Это позволяет генерировать описания различных событий параллельно, вместо традиционного последовательного декодирования токенов. В результате модель объемом 3B параметров демонстрирует эффективность, превосходящую аналоги размером 7B параметров.

Контекст

Традиционные видео-VLM (Vision-Language Models) часто сталкиваются с проблемой низкой скорости инференса при обработке длинных роликов или видео с плотным потоком событий из-за необходимости последовательной генерации текста. Метод параллельного авторегрессионного декодирования, реализованный в PadCaptioner, призван устранить это ограничение.

Почему это важно для индустрии

Предложенный метод решает критическую проблему низкой скорости инференса в видео-VLM. Это открывает возможности для создания высокоскоростных систем автоматической разметки контента и эффективной видеоаналитики, позволяя интегрировать качественное описание видео в real-time пайплайны и снижать стоимость обработки данных.

Почему это важно для пользователей

Пользователи получают доступ к инструменту, который работает быстрее и точнее текущих тяжеловесных моделей, при этом требуя значительно меньше вычислительных ресурсов. Благодаря малому размеру (3B), модель может быть эффективно развернута на потребительском и edge-оборудовании.

Источники

Автор

Look at AI, редакция