MoonshotAI выпустила MoonEP для балансировки MoE-моделей

🛠 MoonshotAI выпустила MoonEP для балансировки MoE-моделей

MoonshotAI представила библиотеку MoonEP, которая использует динамических избыточных экспертов и онлайн-планирование для обеспечения стабильной нагрузки на GPU-ранги даже при сильном дисбалансе маршрутизации. Библиотека поддерживает NVIDIA GPU и обеспечивает Zero Copy передачу данных.

🌍 MoonEP решает проблему дисбаланса нагрузки в архитектурах Mixture-of-Experts (MoE), предотвращая деградацию производительности и ошибки OOM при масштабировании обучения и инференса.

👤 Это шаг к более эффективному обучению сверхмасштабных моделей, где вычислительные ресурсы распределяются равномерно, минимизируя простои GPU.

Источник 1: https://github.com/MoonshotAI/MoonEP