🤖 Open Athena раскрыла архитектуру Marin 535B-A23B
MoE-модель на 535 млрд параметров с 23 млрд активных завершила 5 ноября претрейнинг на 18 трлн токенов на 768 GPU GB200. Paloma macro-loss: 1.982 против предсказанного заранее 2.039, без единого loss spike; контекст рос с 4k до 16k и 65k.
🌍 Публичный разбор крупного MoE-претрейнинга с числами: 18T токенов, 768 GB200, ~1.3x выигрыш в эффективности от Expert Parallelism и Latent MoE, drop-рейт упал с 5.5–7.1% до ~0.01–0.14%. Индустрии — набор приёмов: ragged all-to-all, XSA, SConv, оптимизатор Hyperball.
👤 Видно, как решают проблемы frontier-лабораторий: token dropping, стабилизация роутера, расширение контекста на лету. Цифры и графики открыты, эксперименты и данные Marin публикуются. Попадание прогноза доказывает предсказуемость ранта, а не превосходство модели.
Источник 1: https://openathena.ai/blog/marin-535b-architecture/ Источник 2: https://openathena.ai/projects/marin/