Назад к дайджесту
Reddit

Бюджетное обновление для модели на 31B параметров: две видеокарты через PCIe x1 или иной подход?

Пользователь ищет способы запустить модель Gemma 31B с длинным контекстом на бюджетном железе, рассматривая конфигурацию из двух GPU с разделением слоев через узкий PCIe-канал. Обсуждаются компромиссы между производительностью инференса, объемом VRAM и стоимостью сборки на базе Linux.

score 40r/LocalLLaMA