Компания HardenedVault (HardenedLinux) опубликовала в GitHub проект SonicBoom — среду исполнения для локального инференса LLM, написанную целиком на C++ и CUDA и не использующую Python: вся библиотека собирается в один файл libsonicboom.so с C ABI. По замерам авторов в версии v0.0.3 декодирование на карте RTX 3050 8 ГБ идёт на 13–20% быстрее llama.cpp при одинаковых квантованных файлах моделей. Поскольку проверено это пока только на двух небольших моделях, SonicBoom стоит воспринимать как раннюю экспериментальную площадку для локального инференса, а не как готовую замену привычным инструментам.
Что произошло
Проект hardenedlinux/SonicBoom опубликован под лицензией GPL-3.0, актуальная версия на момент выхода — v0.0.3. Среда поддерживает CPU и CUDA, в качестве основного языка взаимодействия выбран Scheme поверх движка GNU Guile, а модели загружаются в формате GGUF. Входящий в поставку локальный сервер совместим с API OpenAI, поэтому к нему подключаются существующие клиентские обвязки без переделки. Заявлено точное переиспользование префикса: продолжение последовательности при кэшировании совпадает с полным пересчётом посимвольно. В бенчмарках сравниваются две модели при идентичных GGUF-файлах: Gemma 4 E4B-it в квантовании Q3_K_M и Qwen2.5-0.5B-Instruct в Q4_K_M. На RTX 3050 8 ГБ медианы из трёх запусков дают 53,6 ток/с против 44,8 ток/с у llama.cpp для Gemma 4 E4B и 345,9 ток/с против 306,9 ток/с для Qwen2.5-0.5B.
Контекст
Обычно скорость локального инференса добывается рукописными вычислительными ядрами: их пишут и адаптируют вручную под каждую архитектуру графики, что задаёт темп развития llama.cpp и аналогичных рантаймов. SonicBoom переносит эту работу на уровень выше: планировщик графа сливает соседние операции и записывает весь шаг генерации токена в один CUDA Graph, а компилятор на MLIR генерирует часть CUDA-ядер, включая attention и bf16 GEMM, под конкретную карту, устраняя ручную адаптацию под каждую новую архитектуру NVIDIA. Компиляторная генерация ядер в открытых локальных инференс-рантаймах до сих пор встречалась редко, поэтому проект привлекает внимание даже при скромном проценте прироста. Сюда же относится и гарантия детерминизма при кэше префикса: такую строгую воспроизводимость результата рантаймы обычно не заявляют, и именно её стоит проверять первой при знакомстве с проектом.
Почему это важно для индустрии
Для индустрии сигнал шире конкретных цифр: прирост локального инференса может добываться уровнем над вычислительными ядрами — планировщиком графа и компиляцией, — а не только новыми рукописными ядрами. Если независимые проверки подтвердят выигрыш на более широком классе карт и моделей, рантаймам с рукописными ядрами придётся пересматривать оптимизационный стек, а компиляторная генерация ядер под конкретное железо, вероятно, перекочует в мейнстримные проекты. Второй посыл — упаковка: полностью открытый и аудируемый стек без Python-зависимостей подходит для air-gapped и enterprise-развёртываний, где критичен контроль над каждым уровнем исполнения. Наконец, свежий независимый движок усиливает конкуренцию среди инструментов для локального запуска моделей, где скорость декодирования давно стала ключевым аргументом выбора.
Почему это важно для пользователей
Попробовать SonicBoom имеет смысл, если у вас карта NVIDIA из RTX 30-серии: пока проверена только эта архитектура. Проект собирается и запускается локально без Python, а обе проверенные модели невелики — в тестах их гоняли на бюджетной RTX 3050 с 8 ГБ видеопамяти. После сборки можно поднять локальный сервер, подключить к нему существующий прототип через OpenAI-совместимый endpoint и измерить реальную скорость на своём железе скриптом tools/bench.sh. Отдельная ниша — задачи, где нужен воспроизводимый результат: благодаря гарантии детерминизма при кэше префикса подойдут структурированные извлекающие задачи и регрессионные проверки вывода. Для повседневной работы рантайм пока не годится: поддерживается только greedy-сэмплинг, и настроить параметры генерации вроде temperature или top-k не получится.
Что пока неизвестно / ограничения
Бенчмарки пока слабы по стандартам воспроизводимости: две модельные семьи, три запуска с медианой, одна карта RTX 3050 8 ГБ и одни и те же GGUF-файлы. Сравнение только с llama.cpp при идентичных квантованных файлах — корректный контроль числовой базы, но замеров против vLLM и TensorRT-LLM нет, как и данных по prefill, потреблению памяти и батчингу, поэтому общую позицию проекта среди рантаймов оценить нельзя. Заявленный выигрыш получен только на архитектуре sm_86: неизвестно, сохранится ли он на sm_89 и новее, на более крупных моделях и при параллельной нагрузке. Вывод, будто рукописные квантованные ядра перестают быть защищаемым преимуществом, на текущих данных не обоснован: пока это тестируемая гипотеза, которая должна пройти сторонние замеры. Сам проект очень молодой: это всё ещё версия v0.0.3 с восемнадцатью звёздами на GitHub.
Источники
Автор
Look at AI, редакция