Назад к дайджесту
Reddit

Где сейчас оптимальные объемы видеопамяти GPU для локального инференса?

Пользователь обсуждает выбор GPU для запуска локальных LLM, рассматривая покупку второй карты R9700 (32GB) для увеличения VRAM. Он сомневается из-за ожидаемого роста цен на AMD и тенденции к более крупным MoE-моделям, которые не поместятся в 64GB даже в сжатом виде, и склоняется к тому, что одна карта — оптимальный вариант по соотношению цена/производительность.

score 40r/LocalLLaMA