Virtual Head Attention: оптимизация механизма внимания для длинных контекстов

Представлен метод Virtual Head Attention (VHA), решающий проблему компромисса между размером KV-кэша, вычислительными затратами и качеством модели. Метод использует два легких линейных преобразования для восстановления виртуального разнообразия голов, что позволяет сократить KV-кэш в 2-4 раза и снизить затраты FLOPs без потери качества по сравнению с GQA и MLA.