Reddit
Б/У 64-ядерный Threadripper PRO 3995WX: стоит ли для сервера локальных LLM?
Автор рассматривает покупку рабочей станции на базе AMD Threadripper PRO 3995WX для развертывания сервера инференса больших языковых моделей с использованием 4–8 видеокарт RTX 3090. Обсуждаются вопросы совместимости памяти, количества доступных линий PCIe и целесообразности использования этой платформы для CPU-оффлоадинга и работы с MoE-моделями.
score 40r/LocalLLaMA