💻 Миф об аппаратной независимости AI-стеков
Патрик Тулм утверждает, что стремление к портативности в AI-стеках — это иллюзия, ведущая к потере производительности. Хотя математика универсальна, управление памятью и синхронизация на уровне ядер (kernels) жестко привязаны к архитектуре.
🌍 Производителям чипов (NVIDIA, Google, AWS) стоит фокусироваться на создании удобных Python-интерфейсов (DSL) для своих архитектур вместо поддержки общих абстракций, чтобы максимизировать MFU.
👤 Стратегия «оставаться на любом железе» при обучении LLM может быть невыгодной. Для максимальной эффективности лучше оптимизировать код под конкретную архитектуру (например, через Pallas для TPU или CUDA для NVIDIA).
Источник 1: https://patricktoulme.substack.com/p/portability-is-a-myth-why-the-best