Reddit
AMD Loom Fun: добавлена поддержка Radeon 9700, ускорение 48 моделей на 42% по сравнению с llama.cpp
Разработчики представили экспериментальный стек инференса AMD Loom с поддержкой видеокарты Radeon 9700. Тестирование 48 языковых моделей показало среднее ускорение на 42% по сравнению с llama.cpp, что подтверждает эффективность нового компилятора и рантайма для графических процессоров AMD.
score 55r/LocalLLaMA