Владельцы 5060 Ti, обновления vLLM и NVFP4: опыт настройки

Пользователь делится опытом запуска LLM на четырёх видеокартах с использованием vLLM и квантования NVFP4. Описаны методы устранения ошибок OOM через переменные окружения и тонкая настройка параметров MTP для максимизации скорости.