Стартап PrismML разработал инновационную технологию сжатия, которая позволяет запускать массивную модель Qwen 3.6 от Alibaba с 27 миллиардами параметров локально на мобильных устройствах. Благодаря уменьшению объема модели до менее чем 4 ГБ, технология открывает путь к использованию мощного искусственного интеллекта непосредственно на смартфонах, включая будущий iPhone 17 Pro.
Что произошло
Компания PrismML достигла экстремального сжатия модели Qwen 3.6 (27B), сократив ее размер до объема менее 4 ГБ. Это достижение делает возможным локальный инференс модели на мобильных чипах. Сообщается, что Apple уже провела переговоры с PrismML относительно потенциальной интеграции данной технологии в свои продукты.
Контекст
Современные большие языковые модели (LLM) обычно требуют огромных вычислительных мощностей и облачной инфраструктуры для работы. Переход к Edge AI подразумевает перенос вычислений с удаленных дата-центров непосредственно на конечные устройства пользователей, что требует эффективных методов квантования, дистилляции или прунинга весов.
Почему это важно для индустрии
Успешная локализация моделей такого масштаба на смартфонах может существенно изменить инвестиционный ландшафт, сместив фокус в сторону Edge AI и снизив зависимость индустрии от облачных вычислений. Это создает новые возможности для разработчиков мобильных приложений и стимулирует спрос на инструменты оптимизации моделей под конкретное мобильное железо.
Почему это важно для пользователей
Для конечных пользователей это означает качественный переход к более приватным и быстрым AI-ассистентам. Модели смогут работать без постоянного подключения к интернету, обеспечивая мгновенную реакцию и гарантируя, что личные данные не отправляются в облако для обработки.
Что пока неизвестно / ограничения
Необходимо провести техническую верификацию метрик качества, таких как perplexity (потеря точности) и реальная задержка (latency) при инференсе на мобильных процессорах.
Источники
Автор
Look at AI, редакция