Qwen 27B: жертвуем контекстом ради качественных квантований — плюсы и минусы

Автор делится опытом оптимизации локального запуска модели Qwen 27B на слабом GPU. Сравнение показывает, что использование более точных квантований (UDQ4KS) с меньшим контекстом (75K) работает быстрее и стабильнее, чем максимальный контекст (96K) с низким качеством (IQ4_XS), так как снижается количество ошибок при генерации черновиков.