Назад к дайджесту
Reddit

Qwen 3.6 27B на AMD MI50: 52.8 токена/сек генерации и 1569 токенов/сек промпта без квантования

Автор протестировал запуск модели Qwen 3.6 27B на видеокартах AMD MI50 с использованием кастомного форка vLLM и ROCm 7.2.1. Достигнуты показатели 52.8 токена в секунду при генерации и 1569 токенов в секунду при обработке промпта в полном точностном режиме. Результаты подтверждают пригодность модели для агентов и указывают на потенциал дальнейшего ускорения через оптимизацию стека.

score 100r/LocalLLaMA