Назад к дайджесту
GitHub

Camelid: локальный бэкенд для инференса на Rust

Проект Camelid представляет собой нативный бэкенд для локального инференса моделей, написанный на языке Rust. Он обеспечивает совместимость моделей через механизм проверки совместимости (evidence-gated). Инструмент ориентирован на разработчиков, ищущих высокопроизводительные решения для запуска нейросетей на локальных устройствах.

307 forksRustscore 75.7
local-firstopenai-compatiblequantizationggufmetalrustllminferencellamaapple-silicon