llmash: высокопроизводительный LLM-сервер на базе llama.cpp

Проект представляет собой совместимый с Ollama сервер для запуска больших языковых моделей, основанный на форке llama.cpp. Заявлено ускорение декодирования до 4 раз по сравнению с Ollama и в 2.8 раза быстрее vLLM за счет кастомных CUDA-ядер, speculation decoding и оптимизаций хранения моделей.