Reddit
Стоит ли 128 ГБ оперативной памяти для запуска больших языковых моделей?
Пользователь обсуждает возможность запуска крупных LLM, таких как Deepseek V4.1 и GLM 5.3, на системе с 128 ГБ DDR4 RAM и двумя видеокартами RTX 3090. Вопрос касается целесообразности такого объема памяти для достижения высокой скорости инференса (около 20 токенов в секунду) и сравнения с другими моделями.
score 40r/LocalLLaMA