GitHub
RustingStrata: движок вывода MoE на Rust для Qwen
Проект RustingStrata представляет собой чистый движок на Rust для инференса моделей архитектуры MoE, таких как Qwen3.5/3.6 в формате GGUF. Решение поддерживает гибридное распределение экспертов между CPU и GPU, использует NVRTC CUDA-ядра и предоставляет сервер с API, совместимым с OpenAI.
548 forksRustscore 85.7
llama-cppqwengguflocal-llmrustinferencellmcudaopenai-apimixture-of-experts