Назад к дайджесту
Reddit

R9700: катастрофическая производительность, уже отчаиваюсь

Автор жалуется на невозможность эффективно использовать пару AMD Radeon AI PRO R9700 для инференса LLM через vLLM. Несмотря на рабочий ROCm 7.2, многокарточная конфигурация падает с ошибками NCCL, а одиночная карта выдает всего 5 tps для модели 27B. Проблема с драйверами и совместимостью заставляет пользователя рассмотреть продажу оборудования.

score 40r/LocalLLaMA