🚀 Colibrì: запуск GLM-5.2 на потребительском железе
Движок на чистом C позволяет запускать модель GLM-5.2 (744B параметров, MoE) на устройствах с ~25 ГБ RAM. Основная идея — стриминг экспертов напрямую с NVMe-диска в память.
🌍 Проект демонстрирует способ оптимизации MoE-моделей, перенося веса на быстрые накопители. Это расширяет доступность frontier-class моделей на железе, которое в десятки раз дешевле серверных H100.
👤 Вы можете запустить мощнейшую нейросеть на обычном ПК при наличии быстрого SSD и ~370 ГБ свободного места. Скорость генерации — около 0.1 токена в секунду.
Источник 1: https://github.com/JustVugg/colibri Источник 2: https://huggingface.co/jlnsrk/GLM-5.2-colibri-int4