Рецепт vLLM для квантования NVFP4 модели Qwen38 Flash на RTX Pro 5000 с TP=2

Автор делится конфигурацией vLLM для запуска модели Qwen38 Flash в формате квантования NVFP4 с использованием технологии PLE offloading на видеокартах RTX Pro 5000. Решение основано на адаптации подходов из Hermes и Unsloth и демонстрирует стабильную работу при интенсивной нагрузке.