Назад к дайджесту
GitHub

Запуск LLM и Ollama Qwen на NPU AMD XDNA1

Проект позволяет запускать большие языковые модели и Ollama Qwen на системах Ryzen AI Linux, используя аппаратное ускорение NPU AMD XDNA1, а также CPU и GPU. Решение направлено на оптимизацию инференса нейросетей на современном оборудовании AMD.

272 forksPythonscore 76.2
cudaggmlmlir-aieopenai-apixdnamliropen-webuiryzen-aiollamasmollm