Reddit
Квантование Qwen 3.8 Flash Next: GSQ RCO почти не уступает BF16
Исследование от Unsloth показывает, что квантованная версия модели Qwen 3.8 Flash Next с использованием формата IQ_3S GSQ RCO достигает 99% от качества оригинальной модели в формате BF16 по среднему баллу 12 бенчмарков. При этом новая версия квантования UD v3.1 превосходит GSQ RCO еще на 15% при схожем размере файла, что делает локальный запуск больших моделей практически неотличимым от работы с полным разрешением.
score 40r/LocalLLaMA