Reddit
Опыт запуска DSV4F на связке из двух AMD R9700
Пользователь разрабатывает кастомный движок инференса на Rust с использованием HIP для запуска MoE-модели DSV4F на двух GPU AMD RDNA4. Оптимизация включает размещение «горячих» экспертов на видеокартах и свопинг «холодных» экспертов через системную RAM, с текущей производительностью около 80 токенов/сек.
score 40r/LocalLLaMA