Назад к дайджесту
Reddit

Оптимизация ядер AMD в llama.cpp

Пользователи обсуждают доступные оптимизации ядра для AMD GPU в библиотеке llama.cpp. Упоминаются kernel-anvil и GEAK v4 для vLLM, что важно для ускорения инференса LLM на потребительском оборудовании.

score 55r/LocalLLaMA