Назад к дайджесту
Reddit

Опыт запуска DSV4F на связке из двух AMD R9700

Пользователь разрабатывает кастомный движок инференса на Rust с использованием HIP для запуска MoE-модели DSV4F на двух GPU AMD RDNA4. Оптимизация включает размещение «горячих» экспертов на видеокартах и свопинг «холодных» экспертов через системную RAM, с текущей производительностью около 80 токенов/сек.

score 40r/LocalLLaMA