🤖 POCKET-35B: эффективная MoE-модель для работы без GPU
Представлена POCKET-35B — это Mixture-of-Experts (MoE) модель на 35 миллиардов параметров, разработанная VIDRAFT на базе Darwin-36B-Opus. Она оптимизирована для работы на устройствах без использования GPU (CPU-only) на смартфонах и обычных ПК с помощью llama.cpp, Ollama или LM Studio. Благодаря архитектуре MoE, модель достигает скорости 27.0 tok/s на процессорах Xeon.
🌍 Появление эффективных MoE-моделей такого масштаба, работающих на потребительском железе, снижает порог входа для локального развертывания мощного ИИ и стимулирует развитие On-Device AI.
👤 Теперь можно запускать продвинутую языковую модель уровня 35B параметров прямо на своем смартфоне или домашнем компьютере без покупки дорогой видеокарты.
Источник 1: https://huggingface.co/FINAL-Bench/POCKET-35B-GGUF