Запуск Qwen3.8 Flash-Next на RTX 5080: оптимизация через Basalt и Unsloth для высокой скорости генерации

Автор демонстрирует запуск модели Qwen3.8 Flash-Next на одной видеокарте RTX 5080 с использованием движка Basalt, квантования Unsloth UD-IQ3_XXS и драфтера Lamina. Комбинация этих технологий позволяет достичь скорости более 250 токенов в секунду при генерации и около 5700 токенов в секунду при обработке промпта, что значительно превосходит показатели llama.cpp.