Ускорение MMVQ для низкоразрядных квантований в llama.cpp

В репозиторий llama.cpp предложен пулл-реквест, внедряющий оптимизацию CUDA для матрично-векторного умножения с минимальным остаточным квантованием (MMVQ). Ускорение достигается преимущественно для специфических форматов квантования, таких как Q2_K и Q3_K, что повышает эффективность инференса моделей с низким битрейтом.