Назад к дайджесту
Reddit

Стоит ли 128 ГБ оперативной памяти для запуска больших языковых моделей?

Пользователь обсуждает возможность запуска крупных LLM, таких как Deepseek V4.1 и GLM 5.3, на системе с 128 ГБ DDR4 RAM и двумя видеокартами RTX 3090. Вопрос касается целесообразности такого объема памяти для достижения высокой скорости инференса (около 20 токенов в секунду) и сравнения с другими моделями.

score 40r/LocalLLaMA