Reddit
Значительна ли разница между квантованиями Q4 и Q6 в Qwen3.6?
Пользователь обсуждает запуск модели Qwen3.6 27B на RTX 3090, достигая 65 токенов в секунду при квантовании Q4_M. Он рассматривает переход на Q6 для улучшения качества и спрашивает сообщество о реальной разнице в производительности и качестве.
score 23r/LocalLLaMA