Назад к дайджесту
Reddit

Vulkan-бэкенд llama.cpp превзошел ROCm на AMD Strix Halo: результаты бенчмарка

Пользователь сравнил производительность бэкендов ROCm и Vulkan в llama.cpp на AMD Strix Halo при запуске модели Qwen3.6-35B. Vulkan оказался быстрее на 21% по генерации токенов и показал меньшую вариативность, указывая на проблемы оптимизации ROCm для этой архитектуры. Тест полезен для энтузиастов локального ИИ, использующих видеокарты AMD.

score 29r/LocalLLaMA