Назад к дайджесту
Reddit

Возможно ли запустить Qwen3.8-27B-FP8 на RTX 5090?

Пользователь исследует возможность запуска модели Qwen3.8-27B-FP8 с использованием фреймворка vLLM на видеокарте RTX 5090. Обсуждается сравнение производительности и точности форматов FP8 и NVFP4, а также ограничения по объему памяти и длине контекста.

score 40r/LocalLLaMA