Reddit
Новая оптимизация в llama.cpp: слияние операций для маски稀疏ного внимания
В репозиторий llama.cpp добавлен новый слитый оператор (fused op) для обработки масок разреженного внимания (QSA mask). Это обновление позволяет ускорить работу моделей, использующих механизмы sparse attention, за счет снижения накладных расходов на вычисления.
score 55r/LocalLLaMA