Назад к дайджесту
Reddit

Deepseek V4 Flash 0731: LM Studio загружает модель только в оперативную память

Пользователь столкнулся с проблемой инференса модели Deepseek V4 Flash в LM Studio: модель не использует VRAM видеокарты, а работает исключительно в системной RAM. Обсуждение затрагивает влияние квантования Q2_K_XL от библиотеки Unsloth на загрузку и поиск причин отказа от GPU-ускорения.

score 40r/LocalLLaMA