🤖 Опубликована открытая диффузионная VLA для управления роботом

RobotLearningLab выложила Jocasta-diff-VLA — LoRA-адаптацию Dream-VLA-7B под симулированного манипулятора Franka Panda в robosuite. Дообучение на 8140 демонстрациях с Flow Matching action head: 64,8% успеха на 512 тестовых сценах, у базовой модели на PickPlace — 0 из 64.

🌍 Весь набор для проверки открыт: checkpoint, код дообучения, конвертация предсказаний в команды контроллера и независимый аудит всех 512 эпизодов. Такой прозрачности в робототехнике почти не бывает, проверка чужих результатов стала дешёвой.

👤 Модель доступна на Hugging Face, код — на GitHub, инференс идёт на одном CUDA GPU. Ограничения: пока только симуляция, один seed, ToolHang слабый (9 из 64), перенос на реальных роботов не подтверждён.

Источник 1: https://huggingface.co/RobotLearningLab/Jocasta-diff-VLA Источник 2: https://github.com/alanrbtx/Diffusion-VLA-tuning