Энергоэффективность MI50 в задачах LLM: тесты кривой мощности

Исследование демонстрирует влияние ограничения питания AMD MI50 на производительность инференса модели Qwen 35B в llama.cpp. Выявлено, что 50W является оптимальной точкой, обеспечивая 70% скорости генерации при 26% мощности, что в 3.6 раза эффективнее пикового режима. Обработка промптов страдает от троттлинга сильнее генерации, так как она более вычислительно-зависима.