Назад к дайджесту
Reddit

Запуск DeepSeek V4-Flash (284B MoE) на бюджетном железе: 33 ток/с на 2× RTX 3090 + сервер Xeon

Энтузиаст запустил полный чекпоинт DeepSeek V4-Flash (284B параметров, 13B активных в MoE) на подержанном серверном оборудовании с двумя RTX 3090, достигнув 33 токенов/с. Статья сравнивает различные платформы по памяти и пропускной способности, объясняя почему для稀疏 MoE-моделей ёмкость памяти важнее带宽 — четырёхсокетный сервер с 512–768 ГБ RAM обошёл Mac Studio и DGX Spark.

score 40r/LocalLLaMA