Сборка сервера на AMD EPYC для инференса LLM

Пользователь делится опытом сборки хоста на базе процессора AMD EPYC 7443 с 256 ГБ оперативной памяти и четырьмя видеокартами NVIDIA для локального запуска больших языковых моделей. Основная цель апгрейда — увеличение пропускной способности PCIe и общего пула памяти для эффективной работы с крупными моделями, такими как GLM5.3 и Qwen, а также оптимизации обработки промптов.