PN-Mix: Квантование KV-кэша с учетом парной нормы для эффективного вывода длинных текстов LLM

Исследователи предлагают метод PN-Mix для смешанной точности квантования ключей в KV-кэше декодеров на основе RoPE. Метод выделяет более высокую точность для значимых пар каналов, что позволяет достичь точности, сопоставимой или превышающей существующие методы, при среднем битрейте около 2.26 бита и устойчивой работе вплоть до 1.5 бит.