Назад к дайджесту
Reddit

Сравнение скорости генерации текста на новой и старой сборках ПК с AI

Пользователь столкнулся со значительным падением скорости вывода токенов (с 100-150 до ~60 toks/s) при переносе конфигурации для локального запуска LLM (Qwen 27B) на серверную платформу AMD EPYC. Автор анализирует возможные узкие места, такие как пропускная способность памяти DDR4 и ограничения PCIe Gen 4, и ищет причины снижения производительности инференса.

score 40r/LocalLLaMA