Назад к дайджесту
Reddit

Переход с 24 до 48 ГБ VRAM: стоит ли удваивать видеопамять для LLM?

Пользователь Reddit обсуждает целесообразность покупки второй видеокарты AMD 7900 XTX для увеличения видеопамяти с 24 до 48 ГБ. Цель — запуск более крупных моделей Qwen для задач программирования и оценка прироста качества работы. Обсуждение фокусируется на практической пользе увеличения VRAM для локального инференса больших языковых моделей.

score 19r/LocalLLaMA