GitHub
Bloomery: гибридное GPU/CPU-инференс для MoE-моделей на Rust
Проект Bloomery обеспечивает гибридное выполнение моделей типа Mixture-of-Experts, используя Rust и кастомные CUDA-ядра. Представляет собой прямую замену llama-server для ускоренного инференса.
245 forksRustscore 70.4
cudaglminferencerustggufdeepseekllmmoellama-cppqwen