Запуск Qwen-Flash-Next Coder на 8 ГБ VRAM с контекстом 262K и скоростью 70 токенов/с через llama.cpp

Описан метод запуска модели Qwen-Flash-Next Coder (6B активных параметров, 3.5 BPW) на видеокарте с 8 ГБ памяти. Используется гибридное распределение: часть экспертов (MOE) хранится в оперативной памяти, а n-gram — на быстром SSD, что позволяет достичь скорости 70 токенов/с при генерации. Рекомендован бэкенд Vulkan из-за проблем CUDA с малым объемом VRAM.