GitHub
PMetal: фреймворк для Apple Silicon и локальных LLM
PMetal — это высокопроизводительный фреймворк для работы с языковыми моделями на чипах Apple Silicon. Инструмент поддерживает инференс, дообучение LoRA/QLoRA, квантование и сервинг с использованием ускорения MLX и Metal. Решение ориентировано на разработчиков, желающих эффективно запускать ИИ-модели на устройствах Apple без облачных зависимостей.
26818 forksRustscore 75.8
llm-inferenceqloraanemlxggufdeep-learninginference-serveraimacosllm