Назад к дайджесту
Reddit

Обновленная квантованная модель Qwen 27B (2.3 bpw) для видеокарт с 12 ГБ памяти: сравнение с Qwen3.6 BF16

Автор представил обновленный чекпоинт квантованной модели Qwen 27B (2.3 bpw), оптимизированный для видеокарт серии Ampere с 12 ГБ VRAM. Использование нового формата квантования AmperInteger+ позволило достичь результатов на уровне Qwen3.6 BF16 в бенчмарке LiveCode Bench и сократить ошибку на 37-57% по сравнению с предыдущей версией.

score 40r/LocalLLaMA