Форк llama.cpp для старых GPU: поддержка Kepler, CUDA Graphs и Windows NCCL

Разработчик представил форк llama.cpp, оптимизированный для работы на устаревших видеокартах NVIDIA архитектуры Kepler и старше. Внедрение CUDA Graphs и исправление выбора типа вычислений cuBLAS позволили увеличить скорость генерации с 35 до 55 токенов в секунду на системе из четырех Tesla K40c. Также добавлена экспериментальная поддержка NCCL для Windows.