Reddit
Инференс-ракетка на двух RTX 3090 и процессоре Ryzen 7 7840U
Автор представил самоделку для запуска LLM, собранную на материнской плате от ThinkPad с процессором Ryzen 7 7840U и двумя видеокартами RTX 3090, соединенными через NVLink. Система использует кастомное водяное охлаждение с автомобильным радиатором и работает под управлением Ubuntu, обслуживая модель Qwen3.8-27B через vLLM.
score 40r/LocalLLaMA