Команда Stage.AI представила проект edge-lm, который позволяет запускать сжатые чекпоинты Gemma 4 на устройствах с Apple Silicon (Mac и iPhone) через MLX. Благодаря использованию PLE-архитектур и векторного квантования (AQLM-style), размер моделей уменьшен в 6.4–7 раз, обеспечивая при этом высокую точность в ключевых задачах.
Что произошло
Разработчики из Stage.AI реализовали технологию экстремального сжатия моделей семейства Gemma 4. Например, версия E2B теперь занимает всего 1.44 ГБ вместо исходных 9.26 ГБ (в формате BF16). При таком значительном уменьшении весов модели сохраняют высокую эффективность в бенчмарках IFEval (следование инструкциям), τ²-Bench (вызов инструментов) и MMLU-Pro (общие знания).
Контекст
Оптимизация базируется на применении PLE-архитектур и методов векторного квантования в стиле AQLM. Проект edge-lm нацелен на работу в экосистеме Apple, используя фреймворк MLX для максимально эффективного использования ресурсов чипов Apple Silicon.
Почему это важно для индустрии
Технология демонстрирует эффективный компромисс между экстремальным сжатием и сохранением функциональности. Это критически важно для развития локальных on-device ассистентов, так как позволяет снизить зависимость от облачных вычислений и уменьшить стоимость инференса.
Почему это важно для пользователей
Пользователи iPhone и Mac получают возможность использовать мощные возможности Gemma 4 прямо на своих устройствах с минимальным потреблением оперативной памяти. Это обеспечивает качественный отклик и работу с инструментами без необходимости постоянного подключения к интернету.
Источники
Автор
Look at AI, редакция