Marigold V2: монокулярная глубина по одному кадру за один шаг

🤖 Marigold V2: глубина по одному изображению в один шаг

HUAWEI Bayer Lab вместе с EPFL и University of Bologna выпустила Marigold V2 — одношаговый оценщик монокулярной глубины на базе предобученного диффузионного трансформера Qwen-Image-Edit-2509. Обучение — LoRA (rank 128) поверх 4-битного DiT и дистилляция из многошаговой flow-matching модели. Авторы заявляют улучшение AbsRel на 16–26% на KITTI и ETH3D и SOTA по нормалям и albedo.

🌍 Обучение возможно на одном потребительском GPU с 32 ГБ (~5 дней, batch=1), а инференс занимает один шаг вместо десятков: ~17 ГБ VRAM при 1024×1024. Это снижает стоимость dense prediction для робототехники и 3D-реконструкции.

👤 Модель доступна в веб-демо на Hugging Face и запускается локально (Apache-2.0). Есть чекпоинт Log-layered, «видящий» сквозь прозрачные объекты — например, стекло.

Источник 1: https://github.com/huawei-bayerlab/marigold-v2 Источник 2: https://arxiv.org/abs/2609.08084