Назад к дайджесту
Reddit

Влияние поколений PCIe на инференс: Gen4 против Gen5

Пользователь планирует собрать систему на базе двух GPU для инференса LLM с использованием llama.cpp и ROCm, объединяя 64 ГБ видеопамяти. Вопрос касается того, есть ли существенная потеря производительности при использовании PCIe Gen4 по сравнению с Gen5 в сценариях распределенного инференса, где данные не перемещаются в системную память.

score 40r/LocalLLaMA