Команда PrismML представила серию моделей Bonsai 27B, которые прошли экстремальное сжатие через 1-битное квантование. Это позволило уменьшить вес моделей с исходных 54 ГБ до всего 3.8–3.9 ГБ при сохранении около 90% качества работы.
Что произошло
Разработчики из PrismML выпустили линейку моделей Bonsai 27B, оптимизированных с помощью 1-bit quantization. Базовая версия Bonsai 27B занимает 3.8–3.9 ГБ, а более продвинутая версия Ternary Bonsai 27B весит 5.9 ГБ и сохраняет до 95% качества базовой модели. Модели поддерживают мультимодальность, рассуждение (reasoning), написание кода и вызов инструментов (tool calling).
Контекст
Применение экстремального 1-битного квантования позволяет перевести мощные модели уровня 27B параметров из категории тяжелых облачных решений в категорию Edge AI. Благодаря оптимизации под WebGPU такие модели могут запускаться непосредственно в браузере, снимая необходимость в мощном серверном backend-а.
Почему это важно для индустрии
Технология доказывает возможность запуска мощных LLM на устройствах с крайне ограниченной памятью, что смещает фокус индустрии с облачных вычислений на Edge AI. Это создает фундамент для экономики локального AI и снижает барьеры для разработки автономных агентских систем.
Почему это важно для пользователей
Теперь высококлассные модели можно запускать локально на обычных ноутбуках, смартфонах или прямо в браузере через WebGPU. Это позволяет создавать и использовать сложные AI-агенты без отправки данных на внешние серверы и без затрат на оплату API или аренду GPU-облаков.
Что пока неизвестно / ограничения
Для полноценного использования в production требуется дополнительная верификация бенчмарков качества и проведение точных замеров latency (задержки) в реальных условиях.
Источники
Автор
Look at AI, редакция