Lean-QwenFlash: запуск Qwen3.8-Flash-Next (125B) на 16 ГБ VRAM с оффлоадингом через NVMe SSD

Автор адаптировал эффективный метод оффлоадинга памяти, ранее примененный для GLM, к модели Qwen3.8-Flash-Next. Это позволяет запускать 125-миллиардную модель с 24 тысячами экспертов на оборудовании с ограниченной памятью (16 ГБ VRAM и 8 ГБ RAM), используя прямую загрузку весов с NVMe SSD. Тестирование показало стабильную скорость генерации около 20 токенов в секунду на RTX 4090 и RTX 3080 Laptop даже при работе с контекстом до 262k.