AI VK опубликовала на Хабре статью инженера Ивана Воробьева о механизме «стримов» в рекомендациях VK Видео: единый пайплайн разъединяется сразу после сбора данных о пользователе на несколько независимых пайплайнов под конкретные задачи, а их результаты собираются блендингом обратно в одну выдачу. Для зрителя лента внешне не меняется, но внутри каждая задача живёт в собственном контуре со своей конфигурацией и релизным процессом.
Что произошло
Блог AI VK опубликовал на Хабре статью «Как мы в AI VK рекомендации на стримы делили», автор которой — Иван Воробьев, ведущий инженер отдела базового качества рекомендаций VK Видео. В статье описан внутренний механизм «стримов»: классический пайплайн рекомендаций «сбор данных → подбор кандидатов → фильтрация → ранжирование → блендинг» разъединяется сразу после сбора данных о пользователе на несколько независимых пайплайнов. Каждый стрим отвечает за свою задачу: подбор по известным интересам (exploit), исследование интересов пользователя (explore), исследование новых документов и поддержку авторов. Стримы собираются из общих компонентов-«кубиков» — методов подбора кандидатов, фильтрации и вычисления признаков, при этом у каждого своя конфигурация и отдельный релизный процесс. На выходе результаты объединяются блендингом по квотам и меткам в одну выдачу, так что для зрителя VK Видео ничего не меняется.
Контекст
Ключевая деталь схемы — точка разделения: контуры получают собственные настройки и релизные циклы сразу после общего этапа сбора данных, а не сводятся к квотам на итоговой выдаче. До этого в монолитном пайплайне настройки обрастали условиями по каждой опции, а эксперименты конкурировали за общие слоты. Авторы оговаривают, что общий объём конфигурации при разделении не уменьшился — изменилась её структура, а «независимость» стримов достигается переиспользованием вычислений: общие «кубики» не пересоздаются между запросами и стримами, а признаки считаются один раз на запрос. Иначе говоря, декомпозиция окупается только вместе с такими оптимизациями. Сам паттерн — разбиение мультитасковой системы на изолированные контуры с общей шиной компонентов и блендингом на выходе — известен в индустрии рекомендаций, и ценность публикации в конкретной схеме разделения и деталях реализации, а не в новой методике. Внутри VK механизм вынесен в Discovery-платформу и уже масштабируется на другие продукты.
Почему это важно для индустрии
Командам, строящим рекомендательные системы, материал даёт прикладной шаблон для дизайн-ревью архитектуры: развести задачи по изолированным контурам сразу после общего входа, держать локальную конфигурацию вместо глобального ветвления условий, писать метрики и логи с меткой стрима и заранее планировать переиспользование вычислений признаков. В такой схеме эксперименты перестают конкурировать за общие слоты, а изоляция вклада конкретной механики по метрикам с метками стримов ожидаемо делает ablation-проверки чище. Тиражирование механизма через Discovery-платформу сигнализирует, что декомпозиция пайплайнов становится платформенным стандартом VK, а не разовым рефакторингом. При этом готового продукта или API для чужих систем публикация не предлагает — это описание внутренней механики, применимое как проектировочный ориентир.
Почему это важно для пользователей
Для зрителей VK Видео заметных изменений нет: стримы склеиваются блендингом в привычную ленту, и пользовательский опыт остаётся прежним. Читателям публикация даёт редкий разбор рекомендаций крупной платформы «под капотом»: видно, как сосуществуют подбор по известным интересам, исследование новых документов и поддержка авторов, почему отказ одного стрима не роняет остальные и на чём экономят ресурсы при переиспользовании вычислений. Тем, кто сам проектирует системы, где один пайплайн решает много задач, разбор служит диагностикой: если конфигурация ветвится условиями по каждой настройке, а эксперименты делят общие слоты, стоит подумать о разделении по стримам.
Что пока неизвестно / ограничения
В доступном материале нет ни офлайн-метрик, ни A/B-чисел, ни показателей латенси и стоимости, которые измеренно подтверждали бы выигрыш от разделения. Утверждение авторов о том, что накладные расходы сведены примерно к нулю, остаётся инженерной оценкой, а не результатом замера. Это описание внутренней механики VK: без кода, конкретных метрик и документации воспроизвести схему один в один нельзя, а коммерческий эффект за пределами VK пока не демонстрировался.
Источники
Автор
Look at AI, редакция