Запуск модели Ran Flint в NVFP4 через vLLM на RTX 6000 Pro

Пользователь успешно развернул языковую модель Ran Flint в формате NVFP4 с использованием фреймворка vLLM на видеокарте RTX 6000 Pro. Тестирование показало высокие результаты на бенчмарках LiveCodeBench и SWE-bench, а также стабильную скорость генерации текста в режиме одиночных и пакетных запросов.