Reddit
Оптимизация CUDA в llama.cpp: ускорение операций FFN и GLU до 10%
В репозиторий llama.cpp предложен пулл-реквест, внедряющий слияние матричных умножений для гейтов и UP-ветвей FFN, а также операций GLU в MMQ с чередующимися строками. Бенчмарки на DGX Spark и RTX 5090 демонстрируют прирост скорости генерации от 2% до 10% в зависимости от модели и типа квантования.
score 55r/LocalLLaMA