Назад к дайджесту
Reddit

Плата без чипов стоит 500 долларов

Пользователь обсуждает использование NVLink-моста для связки двух видеокарт RTX 3090 с целью повышения стабильной пропускной способности тензоров при работе с vLLM. Вопрос касается эффективности данного подхода для ускорения инференса локальных языковых моделей, таких как llama.cpp.

score 40r/LocalLLaMA