Компании Kyutai и Mirelo представили MuScriptor, инновационную открытую модель для автоматической музыкальной транскрипции (AMT). Технология позволяет преобразовывать сложные многоинструментальные аудиозаписи в структурированные MIDI-подобные потоки нот, обеспечивая точное разделение на партии инструментов.

image
image

Что произошло

Разработанная Kyutai и Mirelo модель MuScriptor способна распознавать и разделять аудио на отдельные партии: барабаны, бас, клавишные и вокал. Флагманская версия (large) базируется на 1.3 млрд параметров и демонстрирует значительный прирост точности по ключевым метрикам F1 (Onsets, Frames, Offsets) в сравнении с существующими решениями, такими как YourMT3+.

Контекст

Автоматическая музыкальная транскрипция (AMT) является критически важным процессом для цифрового производства музыки. До появления MuScriptor процесс извлечения точных MIDI-данных из готовых миксов был трудоемким и часто требовал ручной коррекции, что ограничивало возможности автоматизации в этой сфере.

Почему это важно для индустрии

Для индустрии ИИ и разработчиков музыкального ПО MuScriptor представляет собой качественный скачок. Открытый характер модели позволяет использовать её для создания высококачественных датасетов, необходимых для обучения новых генеративных музыкальных моделей. Это также упрощает интеграцию инструментов автоматической деконструкции аудио в современные рабочие процессы (workflow) музыкального продакшена.

Почему это важно для пользователей

Музыканты и композиторы могут использовать MuScriptor через веб-демо или интерфейс командной строки (CLI) для быстрого превращения любимых треков в MIDI-файлы. Это открывает возможности для глубокого изучения структуры композиций и легкого редактирования отдельных инструментов в цифровых звуковых рабочих станциях (DAW).

Что пока неизвестно / ограничения

На текущий момент отсутствуют подробные данные о практической применимости модели в высоконагруженных средах, включая показатели задержки (latency), стоимость инференса и возможности масштабируемости для промышленного использования (production).

Источники

Автор

Look at AI, редакция