GitHub
Camelid: локальный бэкенд для инференса на Rust
Проект Camelid представляет собой нативный бэкенд для локального инференса моделей, написанный на языке Rust. Он обеспечивает совместимость моделей через механизм проверки совместимости (evidence-gated). Инструмент ориентирован на разработчиков, ищущих высокопроизводительные решения для запуска нейросетей на локальных устройствах.
307 forksRustscore 75.7
local-firstopenai-compatiblequantizationggufmetalrustllminferencellamaapple-silicon