Reddit
Тестирование Qwen3.8 27B: влияние квантования INT4 AWQ на зацикливание модели
Сравнение производительности моделей Qwen3.8 27B в форматах INT8 и INT4 AWQ показало, что квантование значительно увеличивает частоту зацикливания (looping) при длинном контексте. Пользовательские тесты выявили рост числа циклов с 1.9 до 4.7 на 1000 вызовов и снижение успеха задач с 92% до 78% при использовании INT4, особенно в сценариях с контекстом свыше 40k токенов.
score 40r/LocalLLaMA