Квантованная модель Qwen3.8-Flash-Next (exl3) стабильно работает на GPU с 36 ГБ памяти

Пользователь поделился квантованной версией модели Qwen3.8-Flash-Next в формате exl3, которая помещается в видеокарту с 36 ГБ VRAM (например, RTX 5090) без необходимости использования CPU-оффлоада. Модель демонстрирует стабильную генерацию текста со скоростью 200-300 токенов в секунду, избегая логических зацикливаний, что делает её пригодной для локального использования при ограниченном объеме контекста.