Новый легковесный движок Colibri на чистом C позволяет запускать сверхмасштабную модель GLM-5.2 с 744 миллиардами параметров (MoE) на потребительском железе, используя всего около 25 ГБ оперативной памяти.
Что произошло
Разработан движок Colibri, который реализует радикальный подход к инференсу моделей архитектуры Mixture-of-Experts (MoE). Вместо удержания всех весов в RAM, система осуществляет стриминг необходимых экспертов (routed experts) напрямую с быстрого NVMe-накопителя в память по мере необходимости. В оперативной памяти постоянно находится только плотная часть модели, занимающая около 9.9 ГБ в формате int4. Движок написан на чистом C без внешних зависимостей вроде Python или CUDA и поддерживает спекулятивное декодирование через MTP-голову.
Контекст
Для работы с frontier-class моделями, такими как GLM-5.2 (744B параметров), традиционно требуются мощные серверные решения с огромным объемом видеопамяти (например, кластеры H100). Технология 'Disk-as-RAM' предлагает альтернативу, перенося основную вычислительную нагрузку по объему данных с дорогостоящей RAM на быстрые накопители.
Почему это важно для индустрии
Проект демонстрирует экстремальный метод оптимизации MoE-моделей, расширяя границы доступности передовых ИИ-технологий для локального запуска на железе, которое в десятки раз дешевле серверного. Это может привести к интеграции методов стриминга весов в стандартные инструменты инференса, такие как llama.cpp, и изменению требований к VRAM в индустрии.
Почему это важно для пользователей
Обычные пользователи и разработчики могут получить доступ к возможностям топовых нейросетей на обычном домашнем ПК или ноутбуке, имея быстрый SSD и около 370 ГБ свободного места. Это позволяет локально тестировать тяжелые модели и прототипировать сложные рабочие процессы без необходимости аренды облачных GPU-кластеров, несмотря на низкую скорость генерации.
Что пока неизвестно / ограничения
Скорость генерации остается крайне низкой — около 0.1 токена в секунду «на холодную», что делает использование движка подходящим скорее для исследовательских или не-интерактивных задач, нежели для живого диалога.
Источники
Автор
Look at AI, редакция