Команда AI в VK разработала Discovery AI, передовую систему нейропоиска и рекомендаций для своей экосистемы, включающей VK, Дзен и Почту Mail.ru. Технология базируется на гибридном подходе и оптимизированных языковых моделях, что позволяет обрабатывать огромные массивы данных в реальном времени с минимальной задержкой.
Что произошло
Разработчики VK внедрили Discovery AI, которая использует комбинацию классического поиска BM25 и векторного поиска для обеспечения точности запросов. В основе системы лежит кастомная LLM на базе LLaMA (8B), прошедшая через дистилляцию знаний и Quantization Aware Training (QAT). Это позволило достичь пропускной способности до 30 000 чанков документов в секунду на одной GPU при задержке ответа менее 500 мс.
Контекст
Проект знаменует переход от простых демонстрационных чат-ботов к полноценным RAG-системам (Retrieval-Augmented Generation) промышленного уровня. Для обучения и оценки качества использовалась методология LLM-as-a-Judge, позволяющая генерировать синтетические обучающие данные и эффективно управлять пайплайнами подготовки моделей.
Почему это важно для индустрии
Решение демонстрирует возможность развертывания высоконагруженных кастомных LLM в продакшн на уровне крупнейших контентных платформ с приемлемым latency. Это задает новый стандарт эффективности для локального рынка AI-решений, смещая фокус с простых интерфейсов на сложные поисковые движки, способные работать с разрозненными данными внутри крупных экосистем.
Почему это важно для пользователей
Пользователи сервисов VK, Дзен и Почта Mail.ru получат доступ к поиску, который понимает семантический смысл запросов, а не только ключевые слова. Это позволит получать более точные, релевантные и развернутые ответы на основе реального контента, что значительно повысит качество рекомендаций и персонализацию взаимодействия.
Что пока неизвестно / ограничения
Существуют разные взгляды на риски проекта: если технические специалисты фокусируются на архитектурной эффективности, то юридические эксперты указывают на потенциальные вопросы этики использования синтетических данных и риски обработки кросс-сервисных данных внутри экосистемы.
Источники
Автор
Look at AI, редакция