Ускорение LoRA в llama.cpp

Автор представил оптимизированные ядра для вычислений LoRA в библиотеке llama.cpp, что позволяет значительно повысить скорость инференса. Тестирование на GPU Strix Halo показало рост производительности с 300 до 1400 токенов в секунду за счет внедрения общих и объединенных (fused) ядер обработки адаптеров.