Назад к дайджесту
Reddit

Какой движок для локального запуска Qwen 35B на RTX 3090 и 32 ГБ ОЗУ?

Пользователь ищет эффективный движок для инференса модели Qwen 35B с квантованием Q8 на конфигурации с одной видеокартой RTX 3090 и 32 ГБ оперативной памяти. Автор отмечает, что текущие решения, такие как Strata и Ninfer, работают слишком медленно или неэффективно.

score 40r/LocalLLaMA