Reddit
Как ExL3 достиг такого низкого KL-расхождения при 2.9 бит на вес? Лучше ли это PTQ NVFP4?
Обсуждение результатов квантования модели DeepSeek-V4.1 с использованием формата ExL3 (2.9 бит на вес). Автор спрашивает, превосходит ли этот метод по качеству (KL-расхождение) традиционное постобучающее квантование NVFP4, и просит указать на возможные недостатки подхода.
score 40r/LocalLLaMA