Назад к дайджесту
Reddit

Купил Nvidia GB10 (DGX) в устройстве Asus, но он медленнее Ryzen AI Max

Пользователь сравнивает скорость инференса LLM на серверной Nvidia DGX и потребительском Ryzen AI Max. Несмотря на ожидания, AMD-чип показал лучшую производительность в llama-cpp для моделей Gemma и Step3.5. Обсуждение настроек llama-server и оптимизации под конкретное железо.

score 25r/LocalLLaMA