Reddit
Где сейчас оптимальные объемы видеопамяти GPU для локального инференса?
Пользователь обсуждает выбор GPU для запуска локальных LLM, рассматривая покупку второй карты R9700 (32GB) для увеличения VRAM. Он сомневается из-за ожидаемого роста цен на AMD и тенденции к более крупным MoE-моделям, которые не поместятся в 64GB даже в сжатом виде, и склоняется к тому, что одна карта — оптимальный вариант по соотношению цена/производительность.
score 40r/LocalLLaMA