Назад к дайджесту
Reddit

Lemonade исправляет стриминг моделей на AMD APU и отказывается от OpenMOSS ROCm — он оказался ~40x медленнее Vulkan

Проект Lemonade, предназначенный для запуска моделей на AMD APU, исправил проблему потоковой передачи (streaming) моделей. Разработчики также отказались от использования OpenMOSS с ROCm, поскольку этот вариант оказался примерно в 40 раз медленнее, чем использование Vulkan.

score 40r/LocalLLaMA