Представлена ZipDepth — компактная нейросеть для монокулярной оценки глубины (monocular depth estimation), оптимизированная для работы на мобильных устройствах и Edge-платформах. Модель содержит всего 6.1 млн параметров и была обучена методом дистилляции из тяжелой Depth Anything v2-Large на наборе данных из 14.1 млн изображений.
Что произошло
Разработчики представили ZipDepth, которая благодаря архитектуре с репараметризуемыми свертками (RepVGG) и адаптивному апсемплингу достигает высокой точности на бенчмарках NYUv2 и ScanNet. Модель демонстрирует исключительную производительность: до 715 FPS на iPad Pro M4 и 375 FPS на iPhone 12.
Контекст
Технология базируется на методе дистилляции знаний (knowledge distillation), когда возможности гигантских foundation-моделей переносятся в ультралегкие архитектуры. Это позволяет избежать необходимости использования мощных облачных серверов для задач компьютерного зрения.
Почему это важно для индустрии
ZipDepth демонстрирует возможность эффективного переноса знаний от масштабных моделей к Edge-решениям без критической потери качества. Использование репараметризуемых блоков позволяет упрощать сложные структуры до стандартных сверток во время инференса, что критически важно для совместимости с мобильными NPU и DSP.
Почему это важно для пользователей
Высокоточная оценка глубины сцены по одной фотографии или видео теперь доступна в реальном времени непосредственно на смартфонах и встроенных системах, таких как Jetson Orin. Это открывает новые возможности для создания мобильной AR и автономной робототехники без задержек, связанных с сетевыми запросами.
Источники
Автор
Look at AI, редакция