Бенчмарк шести движков инференса Qwen3.8 27B на RTX 5090 с DFlash2

Сравнительное тестирование производительности llama.cpp, vLLM, SGLang, NInfer, velox-inferer и TensorSharp при запуске модели Qwen3.8 27B на видеокарте RTX 5090. Исследование оценивает пропускную способность декодирования, работу с длинными контекстами и параллельными запросами, включая использование технологии DFlash2 для спекулятивного декодирования.