Reddit
Сравнение скорости генерации текста на новой и старой сборках ПК с AI
Пользователь столкнулся со значительным падением скорости вывода токенов (с 100-150 до ~60 toks/s) при переносе конфигурации для локального запуска LLM (Qwen 27B) на серверную платформу AMD EPYC. Автор анализирует возможные узкие места, такие как пропускная способность памяти DDR4 и ограничения PCIe Gen 4, и ищет причины снижения производительности инференса.
score 40r/LocalLLaMA