Запуск Qwen3.8 27B с зрением на 16 ГБ VRAM с помощью оптимизации KV-кэша

Автор демонстрирует возможность запуска квантованной модели Qwen3.8 27B с поддержкой зрения и контекстом 262k токенов на видеокарте с 16 ГБ памяти. Ключевым решением стала модификация llama.cpp для адаптивного потокового вывода KV-кэша, что позволяет достичь скорости 80 токенов в секунду при генерации.