Представлен SHELLS (Semantic Head Estimation via Layered Local Sampling) — инновационный фреймворк для высокоточной 3D-реконструкции человеческой головы. Система позволяет создавать детализированные и топологически правильные модели за доли секунды, используя всего несколько исходных изображений.
Что произошло
Разработан метод SHELLS, который использует иерархическую стратегию: от построения грубой сетки через XCiT-трансформер до финального уточнения поверхности с помощью «слоистых оболочек» (sampling shells). Технология базируется на DinoV2 с применением LoRA-адаптации. Реконструкция 18k-полигональной головы занимает всего 0.08 секунды и требует всего 2.4 GB видеопамяти, что на 88% эффективнее объемных (volume-based) подходов.
Контекст
Проект интегрирован в экосистему Google GNM. В отличие от классических методов, SHELLS разделяет процесс извлечения признаков и процесс определения разрешения сетки, что позволяет достичь высокой детализации, включая сложные внутренние структуры, такие как полость рта, без избыточной нагрузки на GPU.
Почему это важно для индустрии
Технология решает критическую проблему разделения извлечения признаков и разрешения сетки, позволяя создавать высококачественные цифровые аватары в реальном времени. Это открывает путь к массовому внедрению анимируемых 3D-персонажей в облачные сервисы и real-time приложения с минимальными требованиями к аппаратному обеспечению.
Почему это важно для пользователей
Создание качественных 3D-персонажей по обычным фотографиям становится значительно быстрее и доступнее. Благодаря топологической согласованности полученные модели сразу готовы к профессиональной анимации, а низкие требования к видеопамяти позволяют использовать процесс на менее мощных устройствах.
Что пока неизвестно / ограничения
На текущем этапе технология остается в формате research-демо, так как исходный код и веса модели не опубликованы в открытом доступе.
Источники
Автор
Look at AI, редакция