Назад к дайджесту
Reddit

Правы ли пользователи с большим объёмом RAM, но слабой видеокартой?

Автор обсуждает компромиссы при запуске локальных LLM: плотные модели против MoE-архитектур на 100B параметров, работающих через гибридный оффлоад на 128 ГБ системной памяти. Приводится сравнение применимости моделей вроде Qwen 122B и Deepseek V3 на таком оборудовании для реальных задач, включая вызов инструментов.

score 16r/LocalLLaMA