SonicBoom: компилятор графов для ускорения локальных LLM на ноутбуках без Python

Разработчик представил нативный рантайм SonicBoom на C++/CUDA для инференса локальных языковых моделей, демонстрирующий ускорение декодирования на 14% по сравнению с llama.cpp за счет использования графового компилятора. Проект объединяет те же квантованные ядра, что и llama.cpp, но добавляет оптимизации на уровне графа: слияние операций, переиспользование активаций и захват CUDA Graphs, полностью исключая использование Python в стеке.