Reddit
Плата без чипов стоит 500 долларов
Пользователь обсуждает использование NVLink-моста для связки двух видеокарт RTX 3090 с целью повышения стабильной пропускной способности тензоров при работе с vLLM. Вопрос касается эффективности данного подхода для ускорения инференса локальных языковых моделей, таких как llama.cpp.
score 40r/LocalLLaMA