Reddit
768 ГБ VRAM дешевле, чем одна RTX 6000
Пользователь собрал бюджетную систему из 12 карт CMP170HX с общим объемом памяти 768 ГБ, что обошлось дешевле одной профессиональной видеокарты RTX 6000. На этой системе он запускает большие языковые модели, такие как GLM5.3, DeepSeek v4.1 Flash, Qwen3.8 Flash и другие, используя vLLM или llama.cpp. Это демонстрирует возможность локального инференса крупных моделей на недорогом железе.
score 40r/LocalLLaMA