Reddit
NInfer v0.3.0: запуск Qwen 27B на RTX 2080 Ti 22 ГБ под нативным Windows
Вышла версия 0.3.0 движка NInfer, позволяющего запускать модели Qwen3.6/8-27B на видеокартах Turing с 22 ГБ VRAM (например, RTX 2080 Ti) непосредственно в Windows без использования WSL2 или Docker. Оптимизация кода позволила сократить размер бинарных файлов до 0.28 ГБ, сохранив совместимость с API OpenAI и Anthropic, а также поддержку специкулятивного декодирования (MTP).
score 40r/LocalLLaMA