Команда RobotLearningLab выпустила в открытый доступ Jocasta-diff-VLA — дообученную версию модели Dream-VLA-7B размером 7 млрд параметров, которая в симуляторе robosuite управляет манипулятором Franka Panda. В среднем по 512 тестовым сценам модель доводит задачу до конца в 64,8% эпизодов, тогда как исходная Dream-VLA на задаче PickPlace не показала ни одного успеха. Главной ценностью релиза выглядят не столько цифры, сколько полный набор артефактов: inference checkpoint, код дообучения, конвертация предсказаний в команды контроллера robosuite и независимый аудит всех 512 эпизодов. Пока всё это работает только в симуляции, и обобщение на реальных роботов никем не подтверждено.
Что произошло
RobotLearningLab дообучила модель Dream-VLA-7B на 8140 успешных демонстрациях общим объёмом 4 841 083 шага, собранных по восьми семействам задач манипуляции: Lift, Push, Drawer, Stack, PickPlace, Door, NutAssembly и ToolHang. Адаптация выполнена через LoRA с rank 32 и alpha 16, а генерацию последовательностей команд обеспечивает Flow Matching action head из Dream-VLX. На 512 тестовых сценах дообученная модель успешно завершила 332 эпизода, что даёт 64,8%, в то время как базовая Dream-VLA не решила ни одну из 64 попыток на PickPlace. В открытый доступ выложены полный inference checkpoint, код дообучения, слой конвертации предсказаний в команды контроллера robosuite и отчёт независимого аудита по каждому из 512 эпизодов.
Контекст
Vision-Language-Action (VLA) — класс моделей, соединяющих текст, изображения и действия робота: такая система получает изображение сцены и инструкцию, а на выходе формирует последовательности движений для манипулятора. Dream-VLA-7B — базовая модель этого класса; судя по нулевому результату на PickPlace, без дообучения она не приспособлена к стеку конкретного симулятора. robosuite с манипулятором Franka Panda — распространённый испытательный стенд для алгоритмов обучения манипуляции, где каждая задача семейства вроде Stack или NutAssembly проверяется в множестве случайных сцен. LoRA — метод экономной донастройки, при котором обучается небольшая надстройка поверх замороженных основных весов, что резко снижает стоимость адаптации крупной модели. Flow Matching action head — диффузионная головка действий из Dream-VLX, характерная для семейства диффузионных VLA, к которым относится и сам релиз. На этом фоне выделяется формат публикации: в робототехнике команды обычно ограничиваются агрегированными метриками, а поштучный публичный аудит эпизодов встречается редко.
Почему это важно для индустрии
Для индустрии смысл релиза не в новой архитектуре, а в дешёвом рецепте адаптации: LoRA-надстройка сохраняет неизменными основные веса Dream-VLA-7B, поэтому настройка модели на 7 млрд параметров под конкретное окружение становится посильной для небольшой команды, а инференс укладывается в один CUDA GPU. Второе следствие касается прозрачности: публикация аудита эпизодов и связующего слоя между моделью и контроллером превращает чужой результат из обещания в проверяемый артефакт, и если этот формат приживётся, планка проверяемости в прикладной робототехнике заметно поднимется. Вероятная реакция отрасли — волна воспроизведений: иные LoRA-конфигурации, ретрейны на других сидах, детальные разборы по каждой задаче вместо агрегированного процента, переносы пайплайна на соседние симуляторы и среды. Продуктовым командам следует учитывать и жёсткое ограничение: метрик латентности инференса в релизе нет, а проверенного переноса на физическое железо нет вовсе, поэтому как production-компонент для реальных роботов модель пока не может использоваться.
Почему это важно для пользователей
Практический путь для читателя прямолинеен: можно скачать checkpoint с Hugging Face, склонировать репозиторий на GitHub и запустить инференс в robosuite на одном CUDA GPU — заявленный стек включает PyTorch 2.5.1+cu124, Transformers 4.51.3 и BF16. Схема с action chunk 8 и четырьмя шагами инференса генерирует последовательности команд компактными прогонами, поэтому эксперименты не требуют большого GPU-бюджета. На этой основе реально быстро собрать прототипы: генератор и визуализатор эпизодов, внешний аудитор результатов, учебный стенд по управлению манипулятором, а конвертер предсказаний в команды контроллера — адаптировать под собственный стек в симуляции. Отдельная полезная задача — прогнать часть из 512 аудированных эпизодов у себя и сверить свои цифры с опубликованным отчётом. Ожидания при этом стоит держать в рамках: все перечисленные возможности касаются симуляции, и ни один перенос на реального робота из этого репозитория не подтверждён.
Что пока неизвестно / ограничения
Обучение выполнено с одним сидом, поэтому разброс результатов между перезапусками неизвестен. Агрегированные 64,8% скрывают распределение по задачам: слабое место видно сразу — ToolHang решается лишь в 9 эпизодах из 64, а значительная часть успеха, скорее всего, приходится на задачи с чётким визуальным критерием завершения. Базовая модель сравнивается только на PickPlace, так что масштаб выигрыша от дообучения на остальных семействах задач оценить невозможно. Протокол аудита не раскрыт: не указано, кто проверял эпизоды и по каким критериям засчитывался успех, из-за чего авторский тезис о задании нового стандарта проверяемости стоит воспринимать осторожно — аудит без раскрытых критериев и статистики по сидам это один добросовестный артефакт, а не норма отрасли. Метрик латентности инференса в релизе нет. Главный неизученный вопрос — разрыв между симуляцией и реальностью: перенос модели на физического манипулятора не проверен, и применимость Jocasta-diff-VLA для настоящих роботов остаётся неподтверждённой.
Источники
Автор
Look at AI, редакция