Назад к дайджесту
Reddit

Qwen3.8 27B на Strix — оптимизированная настройка

Автор делится оптимизированной настройкой llama.cpp для запуска Qwen3.8 27B на AMD Strix Halo, включая исправления для ROCm и кастомную сборку библиотеки. Описаны проблемы с unified memory access и медленным диспатчем, а также предложены решения, включая модификацию HIP-библиотеки для ускорения декодирования на 20%.

score 40r/LocalLLaMA