Локальный запуск Qwen 27B в формате GGUF на AMD iGPU

Пользователь тестирует запуск 27-миллиардной модели Qwen в квантовании Q4.0 через llama.cpp на AMD iGPU с 64 ГБ памяти. Утверждается, что скорость генерации сопоставима с моделью Qwen 9B, что делает запуск 27-миллиардной модели в квантовании Q4.0 вполне реальным. Пост описывает практический опыт использования GGUF-формата и обновлений llama.cpp для локального развёртывания.