Reddit
Влияние квантования на модель Qwen3.6 35b a3b
Пользователь отмечает значительный рост качества ответов и инструмент-коллинга при переходе с q4 на q8 для модели Qwen3.6 35b a3b. Обсуждается баланс между потреблением VRAM и точностью при тестировании уровней квантования q6 и q8. Материал касается практической оптимизации LLM для локального развертывания.
score 38r/LocalLLaMA