Reddit
Стоит ли старый Xeon X99 с 256 ГБ ОЗУ и RTX 3090 Ti для инференса Strata LLM?
Автор рассматривает покупку б/у ПК на базе Xeon E5-2640 v3 и материнской платы X99 для запуска больших языковых моделей через Strata Engine с использованием оффлоадинга в оперативную память. Вопрос заключается в том, хватит ли пропускной способности памяти и производительности старого процессора для приемлемой скорости инференса, или система будет работать слишком медленно.
score 40r/LocalLLaMA