Оптимизация llama.cpp для специфического оборудования и моделей

Автор делится результатами глубокой оптимизации inference-движка llama.cpp для старых GPU NVIDIA P100 и конкретной модели Qwen. В процессе были применены специализированные патчи, персистентные мега-ядра и техники снижения словаря для достижения максимальной скорости генерации текста, сопоставимой с современными видеокартами.