Команда Adventists AI 8 ноября 2026 года открыла семейство полнодуплексных голосовых моделей Sophon-Realtime v1: код и веса объёмом около 42 ГБ выложены под лицензией Apache 2.0 на GitHub, Hugging Face, ModelScope и PyPI. Три сборки — Tag, Flash и E2E — делят один общий «мозг» на 32B, который непрерывно слушает собеседника, сам определяет конец реплики и готовит черновик ответа уже с первой паузы. По заявлениям авторов, модель набирает VoiceBench 82,8 — уровень GPT-4o-mini-Audio и первое место среди открытых full-duplex-решений, — однако все цифры пока являются их собственными замерами, а модель понимает только английский и китайский.
Что произошло
Сборки различаются только способом озвучки одного и того же 32B-ядра. Tag отдаёт первое аудио примерно через 0,6 с и держит 16 одновременных пользователей на одной 80-ГБ GPU, размечая ответ звуковыми метками вроде [laughter], [sigh] или команды набрать воздух — их отыгрывает отдельная модель синтеза речи. Flash легче и быстрее: 0,31 с до первого аудио и до 40 пользователей на ту же карту. E2E — исследовательское превью, в котором talker встроен прямо в 32B-модель и для запуска нужны две GPU. Сервер поднимается командой sophon-realtime serve и сразу открывает WebSocket ws://HOST:8000/v1/realtime с полным дуплексом и barge-in, а также POST /v1/chat/completions, принимающий аудио на входе и возвращающий текст и аудио на выходе.
Контекст
Полнодуплексная модель отличается от привычной схемы «говори, когда я закончил»: оба участника делят один канал, и системе приходится самой решать, когда фраза собеседника завершена, реагировать на перебивания и не вставлять непрошеные паузы. До сих пор такое поведение оставалось привилегией закрытых аудио-API вроде GPT-4o-mini-Audio. В Sophon-Realtime решение о смене реплики принимает общий «мозг» на 32B, построенный на адаптированной Qwen3-VL-32B-Instruct: голосовую способность надстроили поверх vision-language модели, которая непрерывно слушает и заранее держит готовый черновик, размечая, где смеяться, вздыхать или набрать воздух. Лицензия Apache 2.0 прямо допускает коммерческое использование, а LoRA-дообучение на одном GPU позволяет подстроить персону или домен без переобучения всей модели.
Почему это важно для индустрии
По сути это первый открытый full-duplex-стек, который на бумаге догоняет закрытые решения: заявленное первое место среди открытых полнодуплексных моделей по VoiceBench, 48% Pass@1 на Full-Duplex-Bench v3 против 43% у Grok, паралингвистическое понимание 48,6 против 46,9 у Gemini 3.8 Flash и 44,6 у Qwen3-Omni, плюс Big Bench Audio на 81,8%. Меняется и экономика живого голоса: вместо поминутной оплаты закрытого API себестоимость переносится на пул собственных карт, где одна 80-ГБ GPU держит по заявлениям авторов 16 (Tag) или до 40 (Flash) одновременных диалогов при задержке долей секунды до первого аудио. Live-режим говорит по протоколу OpenAI GPT-Live, что снижает цену миграции существующих клиентов, а шаблон «общий 32B-мозг плюс сменная озвучка» становится проверяемой архитектурной точкой сравнения для будущих открытых голосовых моделей.
Почему это важно для пользователей
Для читателя с одной картой на 80 ГБ (H100, H800 или A100 80G) модель доступна уже сегодня: pip install sophon-realtime, затем sophon-realtime serve. Выбор сборки определяется сценарием: Tag со звуковыми метками подходит для «живых» персонажей и демо, Flash с 0,31 с до первого аудио и до 40 пользователей на карту — для колл-центров и in-car-сценариев, а E2E — исследовательский вариант ценой второй GPU. Существующие клиенты, говорящие по протоколу OpenAI GPT-Live, переходят на этот стек сменой URL и ключа. Главный практический барьер — языки: модель знает только английский и китайский, поэтому для русскоязычных сервисов она в исходном виде не годится; LoRA-дообучение на одном GPU оставляет путь к адаптации, но готовых русских адаптеров пока нет.
Что пока неизвестно / ограничения
Все ключевые цифры — VoiceBench 82,8, Big Bench Audio 81,8%, паралингвистическое понимание 48,6, Full-Duplex-Bench v3 Pass@1 48%, задержки 0,31–0,6 с и плотность 16–40 пользователей на GPU — это self-run замеры авторов: методология и условия замера (сеть, батчинг, профиль нагрузки) в доступных источниках не раскрыты, независимой проверки пока нет, так что плотность и задержки разумно считать верхней оценкой. База — Qwen3-VL-32B-Instruct, vision-language модель, адаптированная под голос: особенности кросс-модальной адаптации и обучающие данные не описаны, поэтому устойчивость к шуму, акцентам и длинным диалогам заявленными результатами не покрыта. E2E остаётся исследовательским превью на двух GPU. Ожидаемая в ближайшие месяцы волна независимых перепроверок заявленных бенчмарков — это интерпретация, а не установленный факт, и цифры могут уточниться с поправкой вниз.
Источники
- adventists-ai/Sophon-Realtime-v1 — Hugging Face (официальная карточка модели)
- adventists-ai/sophon-realtime — GitHub (официальный репозиторий, README, демо, бенчмарки)
- Adventists AI Open-Sources Sophon-Realtime v1 Full-Duplex Voice Models — AICoder (независимый новостной разбор)
Автор
Look at AI, редакция