SonicBoom v0.0.3: компиляторный AI-рантайм, обгоняющий llama.cpp при декодировании

Сообщество HardenedLinux выпустило версию 0.0.3 рантайма SonicBoom — альтернативы Python-стеку для инференса, использующую компиляторный подход на базе MLIR и Guile Scheme. Проект демонстрирует ускорение декодирования моделей Gemma и Qwen на GPU NVIDIA по сравнению с llama.cpp и приглашает пользователей тестировать производительность на различных видеокартах.