Сравнение производительности 7 движков для Qwen с квантованием NVFP4 на RTX 5090

Автор провел детальное бенчмаркирование семи популярных inference-движков (включая Basalt, llama.cpp и Infernix) для модели Qwen с форматом квантования NVIDIA NVFP4. Тестирование выполнялось на одном GPU RTX 5090 с 128 ГБ ОЗУ, измерялись метрики пропускной способности декодирования и префилла, а также время до первого токена при различных длинах контекста.