Назад к дайджесту
Reddit

Какая конфигурация обеспечит лучшую производительность для локального ИИ: AMD 9950X с RTX 5090 или EPYC с 256 ГБ ОЗУ?

Автор сравнивает производительность локальной ИИ-инференс-системы на базе AMD Ryzen 9950X с двумя видеокартами RTX 5090 и серверной платформы AMD EPYC 7402P с 256 ГБ восьмиканальной памяти. Вопрос заключается в том, даст ли увеличение объема и пропускной способности системной RAM достаточный прирост скорости для моделей LLM, чтобы оправдать перенос GPU на серверную материнскую плату, а также интересует эффективность работы GPU через проксмирование в Proxmox.

score 40r/LocalLLaMA