Open Source движок инференса с автоматической оптимизацией под ваше железо

Пользователь поделился на Reddit open-source движком для инференса LLM, который автоматически компилирует и настраивает ядра под конкретное оборудование пользователя. Проект заявляет ускорение работы открытых моделей до 2 раз по сравнению с llama.cpp и поддерживает Apple Silicon, NVIDIA, AMD и обычные CPU.