Назад к дайджесту
Reddit

Стоит ли старый Xeon X99 с 256 ГБ ОЗУ и RTX 3090 Ti для инференса Strata LLM?

Автор рассматривает покупку б/у ПК на базе Xeon E5-2640 v3 и материнской платы X99 для запуска больших языковых моделей через Strata Engine с использованием оффлоадинга в оперативную память. Вопрос заключается в том, хватит ли пропускной способности памяти и производительности старого процессора для приемлемой скорости инференса, или система будет работать слишком медленно.

score 40r/LocalLLaMA