Назад к дайджесту
Reddit

DeepSeek-V4-Flash-0731: ~40–50 ток/с на двух Radeon AI PRO R9700 с движком affinity (готовый квант + фиксы)

Пользователь запускает DeepSeek-V4-Flash-0731 на двух Radeon AI PRO R9700 (32 ГБ каждая) с помощью движка affinity, который держит горячие эксперты на GPU, стримит остальные из оперативной памяти и использует нативный спекулятивный драфт. Автор добавил готовый квант (2.875 bpw) и форк с исправлениями стабильности. Скорость: префилл ~1260–1360 ток/с, декод ~40–50 ток/с на длинных структурированных ответах и ~31–35 на свободной прозе.

score 40r/LocalLLaMA