Команда Tsinghua University представила Dynamic Band Splitting (DBS) — end-to-end метод разделения аудио на источники, в котором границы частотных полос предсказываются по содержимому каждого конкретного микса, а не задаются заранее. При неизменном бюджете в 128 токенов подход дал прирост до +29% SI-SDR на эталонном наборе DnR v2, а код и веса опубликованы под лицензией Apache 2.0.

image
image

Что произошло

Авторы работы — Bingzhe Zhang, Kai Li и Xiaolin Hu из Tsinghua University. Статья «Learning Where to Split: Dynamic Band Splitting for Audio Source Separation» (arXiv:2610.14993) вышла 15 октября 2026 года, код и веса были опубликованы 10 октября 2026 года. Внутри метода границы полос выбираются механизмом hard Top-K под содержимое каждого микса, полосы сжимаются content-weighted пулингом в компактные токены, а комплексные маски декодирует общая по частоте голова; обучение сквозное, а дискретный выбор границ обходится через straight-through estimator. На DnR v2 модель DBS-BSRNN (4.7 млн параметров, окна 3 секунды) показывает 9.07 dB среднего SI-SDR против 7.03 dB у статичного BSRNN, то есть +29.0%, а компактная DBS-TIGER (1.0 млн параметров, окна 6 секунд) достигает 10.13 dB. Обе модели работают с монодорожками 44.1 кГц и разделяют микс на три источника: музыку, звуковые эффекты и речь.

Контекст

DBS встраивается в популярное семейство band-split архитектур — BSRNN, TIGER, BS-RoFormer и MelRoFormer, — которое традиционно делит спектр на фиксированные полосы ещё на этапе проектирования модели. Такое статичное разбиение считается простым и надёжным, но оно одинаково для любого материала: речевой подкаст, оркестровая запись и кинематографический микс режутся по одним и тем же частотам. DBS превращает вопрос о том, где резать спектр, в выучиваемую задачу — по той же логике, по которой straight-through estimator уже позволил обучать end-to-end другие дискретные решения. Значение результата стоит читать на фоне зрелости области: в разделении источников прибавка в полдецибела обычно считается прогрессом, поэтому описанный разрыв указывает на системный ограничитель статичных схем, а не на удачную настройку под один датасет.

Почему это важно для индустрии

Для индустрии ключевой факт в том, что адаптивные границы дают прирост +1.4–1.9 dB SI-SDR или SDR сразу на четырёх бэкбонах и в трёх доменах (кино, музыка, речь) при том же бюджете в 128 band-токенов, а по описанию авторов метод присоединяется к существующим сепараторам без роста вычислительной стоимости. Это готовый модуль для пилотов в офлайн-пайплайнах постпродакшна, саунд-дизайна и стем-разделения, причём открытая модель на 1.0 млн параметров обходит статичные аналоги и по качеству, и по требованиям к памяти. Если прирост подтвердится на сторонних замерах, базовые open-source сепараторы фактически теряют техническую разницу в качестве, и конкуренция смещается на уровень продуктовых обёрток, данных и интеграций. Для команд с band-split пайплайнами первый практичный шаг — заменить статическое разбиение спектра на DBS-модуль и сравнить метрики на своих материалах.

Почему это важно для пользователей

Попробовать можно прямо сейчас без сборки сложного окружения: интерактивная демо-студия Hugging Face Space JusperLee/DBS-Demo принимает аудио или видео и показывает разделённые речь, музыку и звуковые эффекты вместе с предсказанными границами полос. Веса DBS-TIGER и DBS-BSRNN лежат на Hugging Face, код опубликован в репозитории JusperLee/Dynamic-Band-Splitting под Apache 2.0 (Python 3.11+, PyTorch), а минимальный запуск сводится к строке DBSTIGER.from_pretrained("JusperLee/DBS-TIGER-DnR"). На практике это означает рабочий прототип стем-разделения за один вечер: быстрая проверка на своих файлах в демо, затем батч-обработка в офлайн-пайплайне или дообучение под свою задачу. При этом действуют жёсткие ограничения: вход монофонический, 44.1 кГц, ровно три источника, поэтому стерео-записи и другие конфигурации без доработок не поддерживаются.

Что пока неизвестно / ограничения

Осторожность требуется по трём причинам. Во-первых, все ключевые числа пока авторские: независимого воспроизведения на сторонних датасетах и бэкбонах ещё нет, а headline-проверка выполнена на одном наборе DnR v2. Во-вторых, заявка об отсутствии роста вычислительной стоимости правдоподобна по механизму, но всё ещё ждёт независимого замера. В-третьих, по реальному времени и потоковой обработке данных нет, а стерео и 48 кГц на текущий момент не охвачены; открытые код и веса снижают стоимость проверки, однако не заменяют саму проверку.

Источники

Автор

Look at AI, редакция