Назад к дайджесту
Reddit

Запуск Qwen 3.6 27B на двух Radeon R9700 через llama.cpp

Автор делится опытом развертывания модели Qwen 3.6 27B на двух видеокартах Radeon AI PRO R9700 с использованием llama.cpp и ROCm. Приведены детальные метрики производительности при генерации токенов и обработке длинных контекстов, а также конфигурация Docker-контейнеров. Материал полезен для инженеров, оптимизирующих локальный инференс больших языковых моделей на AMD-железе.

score 55r/LocalLLaMA