Назад к дайджесту
GitHub

runNburn: Память-осознанный рантайм для инференса GGUF

Проект представляет собой рантайм для запуска моделей в формате GGUF с оптимизацией под потребление оперативной памяти. Он поддерживает OpenAI-совместимый интерфейс для удобного развертывания и тестирования. Инструмент полезен для эффективного использования LLM на ресурсоограниченных устройствах.

242 forksRustscore 72.2
ggufinferencerustcudaopenai-compatiblellmmetal