Назад к дайджесту
Reddit

Квантование FP4 QAD для модели Qwen3.8-Flash-Next от Nvidia

Обсуждается формат квантования FP4 QAD для модели Qwen3.8-Flash-Next, который позволяет значительно уменьшить размер модели (до 102 ГБ по сравнению с 133 ГБ у стандартного NVFP4). Упоминается необходимость поддержки таких форматов в специализированных движках для оптимизации работы с большими языковыми моделями.

score 55r/LocalLLaMA