Назад к дайджесту
Reddit

Я протестировал 21 вариант Qwen3.8 27B на 16 ГБ видеопамяти

Автор провел бенчмарк 21 квантизированной версии модели Qwen3.8 27B на GPU с 16 ГБ VRAM (RTX 5080), используя собственный код на C. Лучшей по качеству оказалась версия bartowski/Qwen3.8-27B-IQ4_XS, а среди «без цензуры» — huihui-ai/Huihui-Qwen3.8-27B-abliterated-UD-IQ4_XS. Приведены метрики Mean KLD и размеры файлов для всех протестированных вариантов.

score 40r/LocalLLaMA