Reddit
Какой движок для локального запуска Qwen 35B на RTX 3090 и 32 ГБ ОЗУ?
Пользователь ищет эффективный движок для инференса модели Qwen 35B с квантованием Q8 на конфигурации с одной видеокартой RTX 3090 и 32 ГБ оперативной памяти. Автор отмечает, что текущие решения, такие как Strata и Ninfer, работают слишком медленно или неэффективно.
score 40r/LocalLLaMA