Робототехническое подразделение Ant Group — Robbyant — открыло тактильную foundation-модель LingBot-Touch: опубликованы веса, код инференса (репозиторий Robbyant/lingbot-touch, лицензия Apache-2.0) и технический отчёт arXiv:2611.12806. Построенная на архитектуре JEPA модель сводит сигналы пьезорезистивных, магнитных и визуотактильных датчиков в единое латентное пространство и обучена на 4983 часах тактильных записей. По заявлению команды, она переносится на новые датчики и роботизированные руки без дообучения, а чекпоинты LingBot-Touch-Tiny и LingBot-Touch-Small уже выложены на Hugging Face и ModelScope.

image
image
image

Что произошло

Robbyant выложил три компонента сразу: чекпоинты LingBot-Touch-Tiny (5,46 млн параметров) и LingBot-Touch-Small на Hugging Face и ModelScope, код инференса с примерами в репозитории Robbyant/lingbot-touch под лицензией Apache-2.0 и технический отчёт arXiv:2611.12806. Модель построена на архитектуре JEPA с общим Haptic Transformer и учится предсказывать латентные представления из пространственно-временного контекста тактильных сигналов. Обучение прошло на 4983 часах записей — 464 431 эпизод и 1,33 млрд кадров с трёх типов сенсоров: пьезорезистивных (2197 часов), магнитных (1136 часов) и визуотактильных (1650 часов). Заявленный перенос без дообучения команда проверила на 26 реальных задачах на двух платформах — Sharpa Wave (20 задач) и XHand (6 задач) — включая работу с хрупкими объектами и бимануальную координацию; дополнительно модель валидировали на 12 симулированных задачах с обучением с подкреплением.

Контекст

Осьзание — самое запаздывающее направление робототехнического восприятия. Foundation-модели для зрения и языка давно стали отраслевым стандартом, однако открытых тактильных репрезентационных моделей сопоставимого уровня практически не существовало: пьезорезистивные, магнитные и визуотактильные датчики говорят на разных «языках», и модель восприятия под каждую платформу обычно приходится обучать с нуля. Проблему усугубляет дефицит данных — сбор тактильных записей требует физического железа, поэтому датасет в почти пять тысяч часов с миллиардом кадров сам по себе редкий актив. Выбор JEPA методологически согласован с задачей гетерогенной сенсорики: предсказание в латентном пространстве, а не в сырых сигналах, даёт модели шанс свести разные типы датчиков в общую систему координат. На этом фоне открытый релиз под Apache-2.0 меняет расклад — то, что раньше было закрытой компетенцией отдельных лабораторий, становится скачиваемым модулем.

Почему это важно для индустрии

Ключевая ценность для индустрии — потенциальная переиспользуемость тактильного слоя. Если единое латентное пространство действительно работает между типами сенсоров, командам больше не нужно строить модель восприятия с нуля под каждое железо: стоимость внедрения манипуляторов снижается, а политики управления можно учить поверх готовых латентов, что ускоряет разработку. Открытая лицензия Apache-2.0 и доступные чекпоинты дают внешним командам готовый базовый слой для собственных роботов без лицензионных барьеров; для стартапов без ресурсов на собственные тактильные датасеты это резкое удешевление прототипирования. В горизонте ближайших месяцев стоит ждать независимых попыток воспроизвести кросс-сенсорный и кросс-платформенный перенос, появления адаптеров под другие датчики и первых сторонних бенчмарков. Если переносимость подтвердится вне контура Robbyant, тактильные энкодеры могут стандартизироваться по аналогии с открытыми vision-энкодерами, а производители датчиков — консолидироваться вокруг общего представления.

Почему это важно для пользователей

Порог входа снижен практически до нуля: чекпоинты Tiny и Small скачиваются с Hugging Face или ModelScope, код инференса и примеры для датчиков Sharpa и XHand лежат в репозитории Robbyant/lingbot-touch, а пошаговые инструкции рассчитаны на Python 3.12 и PyTorch 2.11 и работают на CPU. Инженерная проверка на своих данных занимает дни, а не месяцы: достаточно взять компактный чекпоинт Tiny на 5,46 млн параметров и извлекать тактильные представления в собственном пайплайне, если датчики совместимы с поддерживаемыми типами. Тем, кто занимается робототехникой или следит за embodied AI, это готовая точка входа в тактильное восприятие без GPU-кластера и без сбора гигантских датасетов. Остальным читателям релиз наглядно показывает, как осязание роботов начинает оформляться в стандартный открытый компонент — по той же траектории, по которой в своё время пошли энкодеры для изображений и текста.

Что пока неизвестно / ограничения

Главное обещание — перенос на новые датчики и руки без дообучения — проверено пока только на двух платформах самих авторов, Sharpa Wave и XHand, обе из них входят в один связанный вендорский контур; из открытых материалов перенос на произвольное железо не следует. Результаты заявлены в собственном техотчёте команды и не воспроизведены независимыми сторонами, а выбор задач и метрик остаётся за самой Robbyant. Публичных данных по латентности инференса нет, что важно для оценки применимости в реальном управлении. Наконец, LingBot-Touch — это энкодер тактильных представлений, а не готовая политика управления: для действующего робота потребуются физическое железо с совместимыми сенсорами и отдельный слой управления, поэтому о продакшене говорить пока рано.

Источники

Автор

Look at AI, редакция