Назад к дайджесту
GitHub

Bloomery: гибридное GPU/CPU-инференс для MoE-моделей на Rust

Проект Bloomery обеспечивает гибридное выполнение моделей типа Mixture-of-Experts, используя Rust и кастомные CUDA-ядра. Представляет собой прямую замену llama-server для ускоренного инференса.

245 forksRustscore 70.4
cudaglminferencerustggufdeepseekllmmoellama-cppqwen