Reddit
Оптимизация ядер AMD в llama.cpp
Пользователи обсуждают доступные оптимизации ядра для AMD GPU в библиотеке llama.cpp. Упоминаются kernel-anvil и GEAK v4 для vLLM, что важно для ускорения инференса LLM на потребительском оборудовании.
score 55r/LocalLLaMA