Reddit
Возможно ли запустить Qwen3.8-27B-FP8 на RTX 5090?
Пользователь исследует возможность запуска модели Qwen3.8-27B-FP8 с использованием фреймворка vLLM на видеокарте RTX 5090. Обсуждается сравнение производительности и точности форматов FP8 и NVFP4, а также ограничения по объему памяти и длине контекста.
score 40r/LocalLLaMA