Назад к дайджесту
Reddit

24 ГБ VRAM на 7900XTX: наконец-то Qwen 3.6 27B с квантованием Q6K и контекстом 131k

Автор публикует технический гайд по запуску модели Qwen 3.6 27B с квантованием Q6K и контекстом 131k на видеокарте AMD 7900 XTX. Описаны настройки llama.cpp, квантование и компиляционные флаги для эффективного использования 24 ГБ VRAM. Достигнута скорость генерации 55-60 токенов в секунду при сохранении длинного контекста.

score 40r/LocalLLaMA