Назад к дайджесту
Reddit

Значительна ли разница между квантованиями Q4 и Q6 в Qwen3.6?

Пользователь обсуждает запуск модели Qwen3.6 27B на RTX 3090, достигая 65 токенов в секунду при квантовании Q4_M. Он рассматривает переход на Q6 для улучшения качества и спрашивает сообщество о реальной разнице в производительности и качестве.

score 23r/LocalLLaMA