Компания Zyphra раскрыла веса компактной TTS-модели ZONOS3-Mini, которая клонирует голос zero-shot по записи до 60 секунд, проектирует новые голоса через параметры возраста, акцента и тембра и позволяет настраивать эмоции и подачу вплоть до отдельных слов. Модель синтезирует речь в реальном времени прямо в браузере и на телефоне без GPU-сервера, распространяется под лицензией Apache 2.0 и, по данным Zyphra, занимает первое место среди открытых TTS по внутреннему бенчмарку ZTTS2-Eval.

image
image
image

Что произошло

Zyphra опубликовала ZONOS3-Mini вместе с почти полной производственной цепочкой. Архитектура — 11-слойный MoE с 64 экспертами и top-2 маршрутизацией: 800 млн общих и около 100 млн активных параметров, из которых 9 слоёв работают на Gated DeltaNet и 2 — на глобальном внимании. Звук кодирует собственный аудиокодек ZAC-1 с частотой 15 кадров в секунду и выводом 44.1 кГц. Компания приводит измерения задержки до первого звука: меньше 570 мс в браузере на Pixel 9, меньше 150 мс на MacBook Air M3 и в среднем 80 мс на H100 при 8 параллельных запросах; пиковая пропускная способность на H100 достигла 457 секунд аудио в секунду. Веса выложены на Hugging Face под Apache 2.0, демо запускается в браузере через WebGPU, а репозиторий на GitHub содержит рантаймы для SGLang, MLX, ggml и WebGPU.

Контекст

Синтез речи с клонированием голоса до недавнего времени требовал либо закрытых API, либо ощутимых серверных GPU-ресурсов, поэтому выход открытой модели реалтайм-класса меняет расстановку сил: ElevenLabs в материалах Zyphra прямо названа точкой сравнения качества, хотя открытые TTS редко попадали в такие сопоставления на равных. Техническая ставка релиза — гибридная MoE-архитектура с линейным (дельта) вниманием в большинстве слоёв вместо тяжёлого глобального внимания, а также редкий поток кодек-токенов, который сокращает длину обрабатываемой последовательности. За счёт редкой активации экспертов модель задействует лишь часть своих параметров в каждый момент времени — это и позволяет укладываться в реалтайм на клиентских устройствах. При чтении выводов о качестве важно учитывать, что публичное сравнение Zyphra проводит на собственном бенчмарке, а не на независимом стенде.

Почему это важно для индустрии

Для компаний и разработчиков ZONOS3-Mini — готовый строительный блок: Apache 2.0 разрешает встраивать клонирование голоса в коммерческие продукты без лицензионных переговоров, а работа в браузере и на телефоне снимает требование содержать GPU-серверы. Предельная стоимость открытого realtime-клонирования стремится к нулю, что подрывает ценовой moat закрытых голосовых API и, если заявленные качество и задержки подтвердятся независимо, усилит давление на их ценообразование. Ценность при этом смещается из самой модели в данные, UX и интеграции: дифференцировать продукт сложнее, когда базовый компонент бесплатен. На горизонте полугода вероятны волна edge-TTS-продуктов на гибридных архитектурах линейного внимания, независимые сравнительные тесты с открытыми конкурентами и закрытыми сервисами, а также нишевые продукты вроде дубляжа с покадровой режиссурой эмоций и брендовых голосов, собранных по параметрам.

Почему это важно для пользователей

Попробовать модель можно прямо сейчас: демо работает в браузере через WebGPU без установки, веса лежат на Hugging Face, а на GitHub собраны рантаймы для серверов (SGLang), Apple Silicon (MLX), обычных процессоров (ggml) и WebGPU. Для клона достаточно примерно минутной записи голоса; проектирование голоса через возраст, акцент и тембр позволяет получить уникальное звучание без реального диктора. Эмоции, темп и подача настраиваются вплоть до отдельных слов, что открывает сценарии дубляжа с эмоциональной режиссурой, аудиоверсий текстов, персонализированных голосовых уведомлений и голосовых ассистентов, а приватная локальная озвучка на устройстве не отправляет данные в облако. По официальной информации модель поддерживает 43 языка, включая русский, однако качество синтеза на русском стоит проверить на собственных текстах.

Что пока неизвестно / ограничения

Ключевые цифры латентности и пропускной способности — вендорские и привязаны к конкретному железу: Pixel 9, MacBook Air M3 и H100; хвостовые задержки и поведение под пиками нагрузки в источниках не раскрыты, а 80 мс — среднее лишь при 8 параллельных запросах. Единственное качественное сравнение — внутренний бенчмарк ZTTS2-Eval, владелец которого сама Zyphra: метрики, тестовые данные и методика не описаны, объективные показатели вроде WER, speaker similarity или MOS не упоминались, поэтому «первое место среди открытых TTS» остаётся вендорской гипотезой до независимых MOS- или ABX-оценок. Поддержка русского заявлена официально, но независимых данных о его качестве пока нет — их стоит ждать от сообщества. Требования к инфраструктуре для серверного продакшена в источниках также не раскрыты.

Источники

Автор

Look at AI, редакция