Qwen3.6 35B A3B: Влияние квантования KV-кэша на потребление памяти

В обсуждении рассматривается целесообразность квантования KV-кэша ниже 8-бит для модели Qwen3.6 35B, где оценивается компромисс между экономией ресурсов и качеством генерации. Пост поднимает вопросы оптимизации инференса и управления памятью при работе с большими языковыми моделями.