Оптимизация Qwen3.8-Flash-Next на RTX 4090: переход с 2-битного на 4-битное квантование через увеличение RAM

Автор делится результатами настройки модели Qwen3.8-Flash-Next с использованием фреймворка Strata и Unsloth UD-IQ4_XS. Увеличение оперативной памяти с 32 до 64 ГБ позволило разместить все экспертные модули в RAM, что повысило качество генерации (точность токенов до 88.9% по сравнению с Q8_0) ценой снижения скорости декодирования.