Назад к дайджесту
Reddit

AMD 395+ AI с 128 ГБ ОЗУ: актуальный выбор для локального запуска LLM?

Автор обсуждает целесообразность использования платформы AMD 395+ AI с большим объемом оперативной памяти для инференса больших языковых моделей (30B–70B) и создания агентов. Рассматривается сравнение с профессиональными GPU, учитывается низкая пропускная способность памяти и высокая стоимость оборудования в Европе.

score 40r/LocalLLaMA