Исследователь MIT Media Lab Антонис Христус из группы Opera of the Future представил Automatar — бас-гитару, в корпус которой физически встроен одноплатный модуль NVIDIA Jetson Orin NX. Музыкант играет на четырёх основных струнах, а работающая локально AI-модель анализирует исполнение и электромагнитно приводит в вибрацию пять дополнительных струн, достраивая гармонию на ходу. Проект интересен как редкий случай, когда машинное обучение встроено в акустический инструмент целиком: нейросеть отвечает не через экран, а через механику струн.

image
image

Что произошло

Automatar — исследовательский прототип, а не серийный продукт: его описание опубликовано на странице проекта MIT Media Lab и в материале CreativeApplications.Net. Сигнальная цепочка устроена так: Bela Mini со средой SuperCollider обрабатывает звучание основных струн, сигнал конвертируется в MIDI с определением высоты нот по каждой струне отдельно, после чего модель генерирует синусоиды, которые через высоковольтные операционные усилители возбуждают дополнительные струны. Корпус собран из экзотического тёмного дерева Pale Moon Ebony и махагони; традиционная лютмейстерская работа здесь сочетается с CNC-фрезерованием и 3D-печатью.

Контекст

Проект выполнен в группе Opera of the Future исследовательской лаборатории MIT Media Lab и подаётся как пример подхода physical AI, при котором машинное обучение взаимодействует с реальным миром через механику, а не через интерфейс приложения: локальный инференс здесь заменяет облачных ассистентов. Показательно, что вся система собрана из серийных компонентов — NVIDIA Jetson Orin NX, Bela Mini, SuperCollider и стандартный MIDI-конвейер; это сигнал, что edge-железо для аудио-задач уже подешевело до уровня аспирантского проекта. С точки зрения ML-исследований редкость не в модели, а в интерфейсе: нейросеть фактически выполняет роль привода физических струн, а вывод генерации идёт через механику инструмента.

Почему это важно для индустрии

Готового к внедрению здесь нет: это единственный прототип без API, цен и раскрытых планов производства, поэтому прямого коммерческого эффекта проект не даёт. Его ценность в другом — как architectural reference: паттерн «Bela и SuperCollider для реального времени плюс Jetson для локальной модели, связанные через MIDI» можно переносить в собственные задачи — интерактивные инсталляции, MIDI-контроллеры, физические интерфейсы, обучающие или реабилитационные устройства. Проект фиксирует и рыночный сдвиг: локальный AI-инференс на серийном железе уже встраивается в музыкальные инструменты, а не только в серверные пайплайны. В ближайшие полгода вероятны любительские повторения и форки такой архитектуры в мейкерской среде и на сценах формата NIME, однако это ожидание, а не заявленные авторами планы, особенно если код и методология останутся закрытыми.

Почему это важно для пользователей

Читателю проект полезен как живой пример того, как AI-инструмент может дополнять музыканта, а не заменять его: гитара реагирует на игру и достраивает гармонию, оставляя решения за исполнителем. Заглянуть внутрь можно по видео и странице проекта на сайте MIT Media Lab, а архитектуру на базе Jetson, Bela и SuperCollider с MIDI-конвейером стоит рассматривать как учебный пример embedded-системы для собственных экспериментов на стыке музыки, железа и машинного обучения. Купить Automatar нельзя: инструмент существует в единственном экземпляре, без цен, тиража и покупателей, так что для обычного пользователя это скорее источник идей, чем доступное устройство.

Что пока неизвестно / ограничения

Ключевые характеристики пока публично не подтверждены. Отказ от облака убирает только сетевую задержку: сквозное время отклика от детекции высоты нот до вибрации дополнительной струны нигде не измерено и не опубликовано, поэтому «работа в реальном времени» остаётся правдоподобным архитектурным заявлением, а не измеренным фактом. Деталей самой AI-модели нет: без раскрытия методологии нельзя определить, где проходит граница между обучаемым генератором гармоний и классическими гармоническими правилами, вычисляемыми на ходу. Публикации, кода, датасетов и метрик также нет, а публичная проверка минимальна: обсуждение на Hacker News насчитывает одну оценку и не содержит комментариев, опираться приходится на страницу проекта MIT Media Lab и описание CreativeApplications.Net.

Источники

Автор

Look at AI, редакция