Локальные LLM стали серьёзнее: Bonsai 27B весит меньше 4 ГБ

🤖 Локальные LLM стали серьёзнее: Bonsai 27B весит меньше 4 ГБ

Команда PrismML представила серию моделей Bonsai 27B, которые прошли экстремальное сжатие через 1-битное квантование. Благодаря этому вес модели уменьшился с исходных ~54 ГБ до 3.8–3.9 ГБ при сохранении около 90% качества. Более продвинутая версия Ternary Bonsai 27B весит 5.9 ГБ и обеспечивает до 95% качества базовой модели.

🌍 Прорыв в экстремальном квантовании (1-bit) доказывает возможность запуска мощных LLM на устройствах с ограниченной памятью, смещая фокус разработки с облачных вычислений на Edge AI.

👤 Теперь высококлассные модели уровня 27B параметров можно запускать локально на обычных ноутбуках, смартфонах или даже прямо в браузере через WebGPU, не отправляя данные на внешние серверы.

Источник 1: https://huggingface.co/collections/prism-ml/bonsai-27b Источник 2: https://huggingface.co/spaces/webml-community/bonsai-webgpu-kernels