Отличный анализ производительности различных методов ротации KV-кэша. Tl;dr: SAW — лучший выбор.

Сравнительное исследование методов управления кэшем ключ-значение в архитектуре трансформеров. Автор приходит к выводу, что метод SAW демонстрирует наилучшие показатели эффективности.