Разработчик представил llm.mojo — порт проекта llm.c от Андрея Карпатого на язык Mojo. Благодаря использованию рукописных ядер CUDA и Metal, решение демонстрирует значительное превосходство над стандартными фреймворками на Apple Silicon и сопоставимую скорость с оригинальным C-кодом на архитектуре NVIDIA.
Что произошло
Проект llm.mojo реализует обучение GPT-2 с использованием оптимизированных ядер для GPU. На Apple Silicon (M4 Max) решение работает в 1.71 раза быстрее, чем PyTorch MPS в режиме bf16. На архитектуре NVIDIA GB10 достигается паритет с оригинальным llm.c (CUDA) в режиме bf16 и превосходство на 7% в режиме fp32 (TF32).
Контекст
Проект базируется на llm.c — минималистичной реализации обучения языковых моделей на языке C от Андрея Карпатого. Портирование на Mojo позволяет объединить низкоуровневый контроль над GPU с возможностями нового высокопроизводительного языка, минимизируя накладные расходы, характерные для интерпретируемых языков.
Почему это важно для индустрии
Данная реализация подтверждает потенциал Mojo как серьезного конкурента C++ и связки Python/PyTorch в задачах глубокого обучения. Это открывает путь к созданию нового поколения высокопроизводительных kernel-библиотек и смене парадигмы в разработке AI-инфраструктуры, где Mojo может стать стандартом для написания эффективных ядер.
Почему это важно для пользователей
Для индивидуальных разработчиков и малых команд это означает возможность проводить эффективное обучение и дообучение моделей на мощных ноутбуках и персональных рабочих станциях с производительностью, близкой к специализированным серверным решениям. Это значительно ускоряет цикл прототипирования на локальном железе.
Источники
Автор
Look at AI, редакция