Назад к дайджесту
GitHub

RustingStrata: движок вывода MoE на Rust для Qwen

Проект RustingStrata представляет собой чистый движок на Rust для инференса моделей архитектуры MoE, таких как Qwen3.5/3.6 в формате GGUF. Решение поддерживает гибридное распределение экспертов между CPU и GPU, использует NVRTC CUDA-ядра и предоставляет сервер с API, совместимым с OpenAI.

548 forksRustscore 85.7
llama-cppqwengguflocal-llmrustinferencellmcudaopenai-apimixture-of-experts