Порт llm.c на Mojo с ядрами Metal и CUDA

💻 Порт llm.c на Mojo с ядрами Metal и CUDA

Разработчик представил llm.mojo — порт проекта llm.c от Андрея Карпатого на языке Mojo. Реализация включает рукописные CUDA и Metal ядра для обучения GPT-2. На Apple Silicon (M4 Max) решение работает в 1.71 раза быстрее, чем PyTorch MPS в режиме bf16, а на NVIDIA GB10 достигает паритета с оригинальным llm.c (CUDA) по скорости в bf16 и превосходит его на 7% в fp32 (TF32).

🌍 Демонстрирует потенциал Mojo как высокопроизводительного языка для глубокого обучения, способного эффективно конкурировать с C++ и Python/PyTorch за счет прямой работы с GPU-ядрами без накладных расходов интерпретатора.

👤 Позволяет запускать эффективное обучение языковых моделей на потребительском железе (например, Mac с чипом M4) с производительностью, близкой к специализированным серверным решениям.

Источник 1: https://github.com/ulmentflam/llm.mojo