Reddit
Сборка сервера на HP Z640 для запуска MoE-моделей: стоит ли добавлять две RTX 3060?
Пользователь планирует приобрести б/у сервер HP Z640 с двумя процессорами Xeon и одной Quadro M6000 для локального запуска больших языковых моделей (Qwen, Llama) и обучения через PyTorch. В обсуждении рассматриваются технические аспекты установки двух видеокарт RTX 3060, совместимость с llama.cpp и Strata, а также вопросы питания и температурного режима.
score 40r/LocalLLaMA