💻 Когда один пайплайн решает слишком много задач
Инженер AI VK Иван Воробьев описал на Хабре механизм «стримов»: после сбора данных о пользователе общий пайплайн рекомендаций VK Видео расходится на независимые стримы — exploit, explore, новые документы, поддержка авторов — каждый со своей конфигурацией. Результаты объединяет блендинг.
🌍 Схема внедрена в VK Видео и перенесена в Discovery-платформу для других продуктов. Стримы решают три проблемы монолита: конфигурация перестаёт ветвиться условиями, вклад механики легче изолировать, эксперименты меньше конкурируют за общие слоты.
👤 Редкий разбор «под капотом» крупного рекомендера: локальная конфигурация вместо глобальной, метрики по компонентам, переиспользование вычислений между стримами. Авторы отмечают, что накладные расходы примерно нулевые, а объём конфигурации не уменьшился — изменилась структура.
Источник 1: https://habr.com/ru/companies/vk/articles/1096708/