Reddit
Лучший движок для инференса R9700: актуальные решения
Пользователь ищет оптимальный движок для запуска моделей на GPU AMD Instinct MI300X (R9700). Обсуждается сравнение Radiance VLLM для моделей, помещающихся в видеопамять, и llama.cpp для случаев использования оперативной памяти (RAM-spill) при работе с MOE-архитектурами. Цель — запуск GLM5.3-Flash на кластере из 6 таких GPU.
score 40r/LocalLLaMA