Назад к дайджесту
Reddit

Сервер на DDR3 для инференса больших моделей: стоит ли добавлять GPU?

Пользователь рассматривает покупку б/у сервера Dell PowerEdge R820 с 768 ГБ оперативной памяти для запуска больших языковых моделей. Вопрос заключается в целесообразности использования такой конфигурации для инференса при добавлении графического процессора, учитывая тренд на запуск Moe-моделей на потребительском оборудовании.

score 40r/LocalLLaMA