Reddit
Правы ли пользователи с большим объёмом RAM, но слабой видеокартой?
Автор обсуждает компромиссы при запуске локальных LLM: плотные модели против MoE-архитектур на 100B параметров, работающих через гибридный оффлоад на 128 ГБ системной памяти. Приводится сравнение применимости моделей вроде Qwen 122B и Deepseek V3 на таком оборудовании для реальных задач, включая вызов инструментов.
score 16r/LocalLLaMA