Reddit
Сравнение качества квантования Qwen 3.6 27B: BF16 против Q8_0, Q6_K и других форматов
Автор проводит практический тест влияния различных форматов квантования (от BF16 до IQ3_XXS) на качество модели Qwen 3.6 27B при работе с 16 ГБ VRAM. Для оценки используется сложная задача: анализ шахматной позиции по PGN и генерация корректного SVG-изображения доски. В материале также приводятся сравнительные результаты Qwen 3.5 и Gemma 4 на этом же тесте.
score 61r/LocalLLaMA