Назад к дайджесту
Reddit

Сборка сервера на HP Z640 для запуска MoE-моделей: стоит ли добавлять две RTX 3060?

Пользователь планирует приобрести б/у сервер HP Z640 с двумя процессорами Xeon и одной Quadro M6000 для локального запуска больших языковых моделей (Qwen, Llama) и обучения через PyTorch. В обсуждении рассматриваются технические аспекты установки двух видеокарт RTX 3060, совместимость с llama.cpp и Strata, а также вопросы питания и температурного режима.

score 40r/LocalLLaMA