Компания NVIDIA представила Audex — инновационную унифицированную аудио-текстовую модель на базе архитектуры Nemotron 3 Nano. Версия 30B, использующая механизм Mixture of Experts (MoE) с 3B активными параметрами, способна обрабатывать до 1 млн токенов контекста и аудиозаписи длительностью до 15 минут, объединяя понимание звука, генерацию речи и текстовые рассуждения в единой системе.
Что произошло
NVIDIA выпустила модель Audex, которая реализует подход Unified Audio Language Models (UALM). Техническая база включает использование NV-Whisper для кодирования аудио и XCodec/XCodec-2 для токенизации. Модель поддерживает два режима работы: Thinking и Instruct, что позволяет ей не только обрабатывать команды, но и выполнять сложные логические рассуждения на основе звуковых данных. Веса моделей версий 30B и 2B уже доступны на Hugging Face.
Контекст
Традиционно обработка голоса строилась на каскадных системах, где последовательно соединялись отдельные модели: распознавание речи (ASR), большая языковая модель (LLM) и синтез речи (TTS). Такой подход часто приводил к задержкам и потере нюансов контекста при передаче данных между модулями. Audex стремится заменить эту цепочку на единую нативную мультимодальную архитектуру.
Почему это важно для индустрии
Для индустрии ИИ это означает радикальное упрощение разработки сложных голосовых интерфейсов. Переход к UALM сокращает задержки (latency) и позволяет строить системы, обладающие глубоким пониманием звукового окружения, включая распознавание событий в аудио. Появление открытых весов стимулирует исследователей внедрять продвинутые аудио-рассуждения в свои пайплайны, минуя необходимость сборки громоздких конвейеров из нескольких дискретных моделей.
Почему это важно для пользователей
Для конечных пользователей это открывает путь к созданию по-настоящему умных голосовых ассистентов. В отличие от нынешних систем, которые лишь переводят звук в текст, технологии уровня Audex позволяют устройствам «слышать» интонации, эмоции и специфические звуковые события, обеспечивая более естественное и интеллектуальное взаимодействие в режиме реального времени.
Что пока неизвестно / ограничения
Несмотря на технические преимущества в снижении задержек, использование подобных моделей создает новые юридические и этические риски в области биометрии и защиты персональных данных, которые требуют дополнительного регулирования.
Источники
Автор
Look at AI, редакция