Reddit
Переход на AMD EPYC: что пришлось настроить и результаты до/после
Автор делится опытом миграции серверной сборки с Intel Core Ultra на AMD EPYC 7443 для задач ИИ. Описаны технические тонкости настройки BMC, разгона ECC-памяти и оптимизации PCIe-связи, которые позволили повысить производительность декодирования и пропускную способность ввода-вывода. Также приведены конкретные метрики ускорения работы llama.cpp и тензорного параллелизма.
score 40r/LocalLLaMA