Reddit
Влияние поколений PCIe на инференс: Gen4 против Gen5
Пользователь планирует собрать систему на базе двух GPU для инференса LLM с использованием llama.cpp и ROCm, объединяя 64 ГБ видеопамяти. Вопрос касается того, есть ли существенная потеря производительности при использовании PCIe Gen4 по сравнению с Gen5 в сценариях распределенного инференса, где данные не перемещаются в системную память.
score 40r/LocalLLaMA