💻 Распределенный вывод LLM на Apple Silicon через DwarfStar
Создатель Redis представил проект DwarfStar, который позволяет запускать тяжелые языковые модели на потребительском оборудовании. Основной упор сделан на использование архитектуры Unified Memory в чипах Apple Silicon как эффективной альтернативы дорогостоящим системам NVIDIA.
В проекте рассматриваются три ключевых метода: последовательное разделение слоев (Layer Splitting) для расширения доступного объема VRAM, вертикальное разделение (Vertical Split) через Apple RDMA для параллелизации вычислений, а также ансамблирование моделей для имитации архитектуры Mixture of Experts (MoE).
🌍 Поиск эффективных способов запуска тяжелых моделей на доступном железе снижает порог входа для исследований и локального развертывания AI. Использование Apple Silicon в качестве альтернативы NVLink-системам открывает новые пути для оптимизации распределенных вычислений в сегменте prosumer-оборудования.
👤 Можно запускать огромные модели (например, DeepSeek v4 PRO) не покупая серверные GPU, а объединяя возможности нескольких Mac Studio или MacBook. Это делает мощный локальный ИИ более экономически доступным.
Источник 1: https://antirez.com/news/167