Почему кэширование KV-состояния меняет сложность инференса трансформеров

Статья объясняет, что использование KV-кэша в авторегрессионных трансформерах позволяет снизить вычислительную сложность генерации токенов с квадратичной до линейной. Это достигается за счет обмена объема памяти на скорость вычислений, что делает инференс возможным на современных аппаратных платформах.