💻 SonicBoom: инференс LLM на C++/CUDA без Python
Компания HardenedVault (HardenedLinux) опубликовала на GitHub SonicBoom — рантайм локального инференса LLM: один файл libsonicboom.so с C ABI, основной язык Scheme (GNU Guile), поддержка GGUF, CPU, CUDA и сервера с OpenAI-совместимым API. В v0.0.3 на RTX 3050 8 ГБ Gemma 4 E4B даёт 53,6 ток/с против 44,8 у llama.cpp, Qwen2.5-0.5B — 345,9 против 306,9.
🌍 Выигрыш даёт уровень выше ядер: весь шаг декодирования выполняется как один CUDA Graph, а компилятор на MLIR генерирует ядра под конкретную карту. Это auditable-стек (GPL-3.0, C ABI) для air-gapped-развёртываний.
👤 Есть NVIDIA RTX 30-серии (проверен sm_86)? Можно собрать, запустить Gemma 4 E4B или Qwen2.5-0.5B локально и замерить скорость через tools/bench.sh. Но проект молодой (v0.0.3, 18 звёзд), только greedy-сэмплинг и две семьи моделей — эксперимент, а не замена llama.cpp.
Источник 1: https://github.com/hardenedlinux/SonicBoom