GitHub
runNburn: Память-осознанный рантайм для инференса GGUF
Проект представляет собой рантайм для запуска моделей в формате GGUF с оптимизацией под потребление оперативной памяти. Он поддерживает OpenAI-совместимый интерфейс для удобного развертывания и тестирования. Инструмент полезен для эффективного использования LLM на ресурсоограниченных устройствах.
242 forksRustscore 72.2
ggufinferencerustcudaopenai-compatiblellmmetal