Назад к дайджесту
Reddit

AMD Loom Fun: добавлена поддержка Radeon 9700, ускорение 48 моделей на 42% по сравнению с llama.cpp

Разработчики представили экспериментальный стек инференса AMD Loom с поддержкой видеокарты Radeon 9700. Тестирование 48 языковых моделей показало среднее ускорение на 42% по сравнению с llama.cpp, что подтверждает эффективность нового компилятора и рантайма для графических процессоров AMD.

score 55r/LocalLLaMA