Reddit
Какая конфигурация обеспечит лучшую производительность для локального ИИ: AMD 9950X с RTX 5090 или EPYC с 256 ГБ ОЗУ?
Автор сравнивает производительность локальной ИИ-инференс-системы на базе AMD Ryzen 9950X с двумя видеокартами RTX 5090 и серверной платформы AMD EPYC 7402P с 256 ГБ восьмиканальной памяти. Вопрос заключается в том, даст ли увеличение объема и пропускной способности системной RAM достаточный прирост скорости для моделей LLM, чтобы оправдать перенос GPU на серверную материнскую плату, а также интересует эффективность работы GPU через проксмирование в Proxmox.
score 40r/LocalLLaMA