Выпущен Brick — интеллектуальный инструмент для управления смешанными пулами LLM (Mixture-of-Models), который позволяет существенно снизить затраты на использование нейросетей, таких как Claude Code, путем автоматического подбора оптимальной модели под сложность каждого запроса.
Что произошло
Разработчики представили Brick, систему умной маршрутизации, которая анализирует возможности запроса и направляет его на наиболее подходящую модель — от легких open-source решений до мощных проприетарных систем. Важной особенностью является использование пространственных эмбеддингов для определения сложности запроса за один проход, что позволяет избежать затратных и медленных каскадных проверок.
Контекст
В современных AI-агентских системах использование одной самой мощной модели для всех задач приводит к избыточным расходам. Подход Mixture-of-Models (MoM) предполагает использование пула разнородных моделей, где интеллектуальный роутер выступает связующим звеном, оптимизирующим баланс между стоимостью и качеством ответа.
Почему это важно для индустрии
Переход к архитектуре Mixture-of-Models через подобные роутеры позволяет индустрии оптимизировать соотношение цена/качество, приближаясь к точности топовых моделей при значительно меньших операционных расходах. Это открывает путь к созданию масштабируемых AI-агентов и стандартизации многоуровневого инференса в production-средах.
Почему это важно для пользователей
Пользователи и разработчики могут радикально снизить стоимость эксплуатации AI-инструментов и агентских воркфлоу. Инструмент позволяет использовать вычислительную мощь топовых нейросетей только там, где это действительно необходимо, автоматически переключаясь на дешевые модели для выполнения простых задач.
Что пока неизвестно / ограничения
Существует риск нарушения политик конфиденциальности при автоматическом перенаправлении данных на менее защищенные open-source модели, что требует внимания к вопросам безопасности данных.
Источники
Автор
Look at AI, редакция