vllm.cpp — C++-реализация движка vLLM

Сообщество разработало C++-версию популярного движка для инференса LLM vLLM с поддержкой continuous batching и paged KV cache. Проект предлагает альтернативу оригинальной Python-реализации с потенциальными преимуществами в производительности и интеграции.