📉 Низкая эффективность суперкластера Colossus от xAI
Внутренняя записка xAI показала, что эффективность использования вычислительных мощностей (MFU) суперкластера Colossus составляет всего 11%. Для сравнения, ведущие лаборатории ИИ обычно достигают показателей в 35-45% при предварительном обучении моделей. Это означает, что значительная часть инвестиций в GPU фактически простаивает.
🌍 Инцидент подчеркивает проблему масштабирования: инженерная сложность управления superclusters начинает обгонять возможности ПО для планирования задач, что ведет к финансовым потерям.
👤 Индустрия переходит от гонки «количества железа» к гонке «эффективности управления инфраструктурой».
Источник 1: https://www.houdao.com/d/10611-Internal-Memo-Reveals-xAI-s-GPU-Efficiency-at-Just-11-Posing-New-Challenges-for-Musk-s-AI-Compute-Race Источник 2: https://aihola.com/article/xai-colossus-mfu-11-percent