MemVanta — нативный C++ рантайм для инференса LLM

MemVanta — это нативный C++ рантайм для инференса больших языковых моделей, поддерживающий формат GGUF, квантованные ядра, страничный KV-кэш и адаптивное выполнение, позволяющее работать за пределами лимитов RAM/VRAM.