Компания Tencent выпустила Hy3 — высокоэффективную модель с архитектурой Mixture-of-Experts (MoE), обладающую 295 миллиардами параметров при всего 21 миллиарде активных параметров. Разработка ориентирована на решение сложных задач рассуждения, написание программного кода и работу автономных ИИ-агентов с поддержкой контекста до 256K токенов.
Что произошло
В рамках нового релиза Tencent представила модель Hy3, которая сочетает в себе огромный общий объем параметров (295B) с низкой вычислительной нагрузкой на один токен благодаря использованию всего 21B активных параметров. В ходе оптимизации post-training разработчикам удалось значительно повысить качество работы: уровень галлюцинаций был снижен с 12.5% до 5.4%, а стабильность вызова инструментов (tool calling) существенно возросла. Модель поддерживает длинный контекст до 256K токенов и оптимизирована для работы с форматом FP8.
Контекст
Архитектура Mixture-of-Experts (MoE) позволяет масштабировать возможности моделей, сохраняя при этом высокую скорость инференса. Релиз Hy3 является важным этапом в демократизации таких эффективных систем, позволяя создавать продвинутые агентские решения без необходимости использования сверхмощных монолитных моделей, требующих избыточных вычислительных ресурсов.
Почему это важно для индустрии
Для индустрии появление Hy3 означает расширение возможностей создания сложных автономных агентов и workflow-инструментов. Эффективность MoE-архитектуры позволяет снизить порог входа для разработки продвинутых AI-систем, уменьшая стоимость инференса при сохранении высокой производительности. Это может спровоцировать массовый переход от плотных (dense) моделей к разреженным (sparse) архитектурам в промышленной эксплуатации.
Почему это важно для пользователей
Пользователи получают доступ к более надежному и мощному ИИ-помощнику, который лучше справляется с программированием и анализом больших объемов данных. Благодаря снижению уровня галлюцинаций и поддержке длинного контекста, ИИ реже ошибается в фактах и точнее следует сложным инструкциям в затяжных диалогах, что делает его эффективным инструментом для работы с объемными кодовыми базами и документацией.
Источники
Автор
Look at AI, редакция