🤖 Unsloth выпустила квантованные версии GLM-5.2 в формате GGUF.
На Hugging Face доступен широкий спектр уровней квантования: от BF16 и Q8_0 до экстремально сжатых IQ1, IQ2, IQ3 и K-Quants. Для минимизации потери качества при сильном сжатии использовалась матрица важности (imatrix).
🌍 Доступность оптимизированных форматов GGUF ускоряет внедрение передовых архитектур в локальные решения и снижает порог входа для разработчиков с ограниченными вычислительными ресурсами.
👤 Теперь мощную модель GLM-5.2 можно запускать на обычном домашнем компьютере или устройствах с малым объемом VRAM, выбирая баланс между скоростью и качеством.
Источник 1: https://huggingface.co/unsloth/GLM-5.2-GGUF/tree/main