Мы открыли исходный код Paddock — нашего инференс-движка на Rust/C++ с собственными CUDA-ядрами (MIT/Apache-2.0)

Разработчики открыли исходный код Paddock — инференс-движка на Rust и C++ с собственными CUDA-ядрами. Движок поддерживает API в стиле OpenAI и Anthropic, загружает GGUF и safetensors, обрабатывает около 300 млрд токенов в год. В бенчмарках на Qwen3.8-27B FP8 он быстрее vLLM в 13 из 13 тестов (1.02x–1.19x), llama.cpp — в 13 из 13 (1.5x–37x), SGLang — в 10 из 13. Пока поддерживаются только CUDA, Windows и Linux, одна модель на GPU, без тензорного параллелизма.