Назад к дайджесту
GitHub

PMetal: фреймворк для Apple Silicon и локальных LLM

PMetal — это высокопроизводительный фреймворк для работы с языковыми моделями на чипах Apple Silicon. Инструмент поддерживает инференс, дообучение LoRA/QLoRA, квантование и сервинг с использованием ускорения MLX и Metal. Решение ориентировано на разработчиков, желающих эффективно запускать ИИ-модели на устройствах Apple без облачных зависимостей.

26818 forksRustscore 75.8
llm-inferenceqloraanemlxggufdeep-learninginference-serveraimacosllm