GitHub
WHIRL: нативный движок вывода LLM для AMD Radeon на Windows
Проект WHIRL представляет собой нативный движок для инференса больших языковых моделей, написанный на C++ с использованием HIP. Он оптимизирован для работы на графических процессорах архитектуры RDNA в среде Windows, в частности для видеокарты AMD Radeon AI PRO R9700.
222 forksC++score 67.3
inferencehipr9700windowsggufamdllmspeculative-decodingmxfp4rdna4