Назад к дайджесту
Reddit

Запуск Qwen3.8 на старых GPU Nvidia Maxwell через Strata

Пользователь успешно запустил модель Qwen3.8-Flash с квантованием IQ1 на двух старых видеокартах Quadro M6000 (48 ГБ VRAM) с использованием движка Strata. Отмечается высокая эффективность префилла и почти 100% использование видеопамяти, хотя декодирование медленнее, чем на современных архитектурах.

score 55r/LocalLLaMA