Reddit
R9700: катастрофическая производительность, уже отчаиваюсь
Автор жалуется на невозможность эффективно использовать пару AMD Radeon AI PRO R9700 для инференса LLM через vLLM. Несмотря на рабочий ROCm 7.2, многокарточная конфигурация падает с ошибками NCCL, а одиночная карта выдает всего 5 tps для модели 27B. Проблема с драйверами и совместимостью заставляет пользователя рассмотреть продажу оборудования.
score 40r/LocalLLaMA