Запуск Qwen 3.8 Flash Next на 8 ГБ VRAM: рекордная скорость с помощью Strata

Автор демонстрирует возможность запуска модели Qwen 3.8 Flash Next (квантование Q2) на системе с 8 ГБ видеопамяти и 32 ГБ оперативной памяти с использованием фреймворка Strata. Технология распределяет вычисления между VRAM, RAM и SSD, обеспечивая скорость обработки промптов до 900 токенов в секунду и генерации до 30 токенов в секунду, что превосходит результаты более крупных моделей Qwen 3.6 и 3.8.