Назад к дайджесту
Reddit

Warpdrv: открытый лаунчер Llama.cpp для локального запуска Qwen на Strix Halo и RTX Pro

Разработчик представил открытый лаунчер Warpdrv для локального запуска LLM через llama.cpp. Утилита оптимизирована для работы с моделями Qwen на гибридном железе (Strix Halo + RTX Pro), поддерживает CUDA и ROCm. Включает функции маршрутизации моделей, вызова инструментов (MCP) и экспериментального чекпоинтирования KV-cache.

score 34r/LocalLLaMA