Назад к дайджесту
GitHub

WHIRL: нативный движок вывода LLM для AMD Radeon на Windows

Проект WHIRL представляет собой нативный движок для инференса больших языковых моделей, написанный на C++ с использованием HIP. Он оптимизирован для работы на графических процессорах архитектуры RDNA в среде Windows, в частности для видеокарты AMD Radeon AI PRO R9700.

222 forksC++score 67.3
inferencehipr9700windowsggufamdllmspeculative-decodingmxfp4rdna4