Reddit
Сервер на DDR3 для инференса больших моделей: стоит ли добавлять GPU?
Пользователь рассматривает покупку б/у сервера Dell PowerEdge R820 с 768 ГБ оперативной памяти для запуска больших языковых моделей. Вопрос заключается в целесообразности использования такой конфигурации для инференса при добавлении графического процессора, учитывая тренд на запуск Moe-моделей на потребительском оборудовании.
score 40r/LocalLLaMA