Запуск Qwen 27B с контекстом 262k на 16 ГБ видеокарты AMD RX 9070 XT с помощью адаптивного потока KV-кэша

Автор портировал технику адаптивного потока KV-кэша на AMD ROCm, что позволило запускать модель Qwen 27B (квантование IQ4_XS) с полным контекстным окном в 262 тысячи токенов на видеокарте с 16 ГБ памяти. Решение использует хранилище RAM для хранения полного кэша и асинхронную передачу данных по PCIe, достигая скорости декодирования более 80 токенов в секунду благодаря оптимизациям ядра llama.cpp.