Насколько квантование KV-кэша влияет на производительность?

Пользователь обсуждает влияние различных уровней квантования (Q4, Q8) на размер контекстного окна при запуске LLM, таких как Qwen, в условиях ограниченной оперативной памяти. Обсуждается компромисс между объемом доступной памяти и качеством работы модели при использовании техник квантования.