NVIDIA 28 октября 2026 года открыла речевую модель Nemotron 3.5 Transcribe (30B-A4B), которая в одном чекпоинте выполняет расшифровку речи, перевод, разделение говорящих и ответы на вопросы по аудио на 40 языках, включая русский. В открытом ASR-рейтинге Hugging Face модель заняла первое место среди открытых, а вместе с ней опубликован датасет Granary v2 с 463 тысячами часов размеченной речи на 48 языках.

image
image

Что произошло

Модель построена по гибридной схеме: речевой кодировщик плюс языковая модель из слоёв Mamba-2 и Transformer с mixture-of-experts; всего 34 млрд параметров, из которых на токен активны около 4,3 млрд. Чекпоинт поддерживает 40 языков, включая русский, переводит 31 язык в обе стороны с английским, различает до 8 говорящих и принимает записи длиной до часа. В открытом ASR-рейтинге Hugging Face Nemotron 3.5 Transcribe заняла первое место среди открытых моделей: WER 5,33% на английском, 4,62% на многоязычной части и 10,98% на длинных записях; в рейтинге Artificial Analysis приведено значение 2,8% WER при примерно 4 млрд активных параметров. Параллельно выпущен датасет Granary v2 объёмом 463 062 часа речи на 48 языках, собранный из 16 открытых корпусов: в репозитории опубликованы манифесты и конвейер обработки, а аудио скачивается отдельно по лицензиям исходных корпусов.

Контекст

До этого релиза речевой стек обычно собирался как каскад: отдельная расшифровка, отдельный перевод, отдельная диаризация, поэтому команды либо платили за несколько сервисов, либо склеивали несколько моделей вручную. Nemotron 3.5 Transcribe относится к классу instruction-following speech-моделей: задачи выбираются по инструкции, а не сменой инструмента. Выбор гибрида Mamba-2 и Transformer с mixture-of-experts рассчитан именно на длинные записи, где квадратичная стоимость внимания трансформера стала бы узким местом, а механизм экспертов позволяет держать большой общий объём параметров при малом активном бюджете на токен. Вторая часть релиза, датасет Granary v2, — это не просто архив аудио, а размеченные данные с воспроизводимым открытым конвейером, то есть набор, пригодный для дообучения сторонних моделей под свои домены.

Почему это важно для индустрии

Главная заявка к индустрии — эффективность: по Artificial Analysis модель достигает 2,8% WER при примерно 4 млрд активных параметров, тогда как ближайшие конкуренты в этом рейтинге расходуют около 24 млрд активных. Один чекпоинт вместо каскада из двух-трёх моделей упрощает и удешевляет речевые продукты — от ботов для встреч и звонков до обработки медиа-архивов; оптимизированная сборка NIM прогоняет 30-секундную запись за 0,13 секунды, что делает батч-обработку дешёвой на серверном деплое. Granary v2 с открытым конвейером даёт компаниям готовую базу для дообучения ASR- и переводных моделей под свою лексику. Если лидерборд-цифры подтвердятся независимыми проверками, вероятна волна таких доменных дообучений и ценовое давление на коммерческие ASR-API со стороны локальных развёртываний.

Почему это важно для пользователей

Попробовать модель можно уже сейчас: веса опубликованы на Hugging Face и ModelScope под лицензией OpenMDW-1.1, есть демо на Hugging Face Spaces, а локальный запуск описан через vLLM и NeMo Speech. Планка входа — минимум один ускоритель H100 80GB, то есть это серверный сценарий, а не ноутбучный. Для русскоязычных записей доступны все заявленные задачи: расшифровка, перевод, разделение говорящих и переключение между языками внутри одной фразы (code-switching); пакетная обработка файлов сразу выдаёт текст с метками времени и подписью говорящих, что подходит для расшифровки интервью, встреч и записей звонков.

Что пока неизвестно / ограничения

С цифрами качества есть нюанс: в открытом рейтинге Hugging Face указаны 5,33% WER на английском, а Artificial Analysis приводит 2,8% — это разные рейтинги с разными тестовыми наборами, поэтому корректное сравнение пока затруднено, а независимых репродукций ещё нет. На длинных записях качество ощутимо падает: 10,98% WER на длинной части рейтинга показывают, что поддержка часового входа не означает одинакового качества по всей длине. Ответы на вопросы по аудио работают только на английском, потоковое распознавание не поддерживается — модель принимает только готовые файлы. В Granary v2 распространяются манифесты и конвейер, а само аудио нужно скачивать отдельно с учётом лицензий исходных корпусов.

Источники

Автор

Look at AI, редакция