Reddit
Обновленная квантованная модель Qwen 27B (2.3 bpw) для видеокарт с 12 ГБ памяти: сравнение с Qwen3.6 BF16
Автор представил обновленный чекпоинт квантованной модели Qwen 27B (2.3 bpw), оптимизированный для видеокарт серии Ampere с 12 ГБ VRAM. Использование нового формата квантования AmperInteger+ позволило достичь результатов на уровне Qwen3.6 BF16 в бенчмарке LiveCode Bench и сократить ошибку на 37-57% по сравнению с предыдущей версией.
score 40r/LocalLLaMA