Вопрос по спекулятивному декодированию: ускорение на 665%

Обсуждение настроек спекулятивного декодирования в llama.cpp демонстрирует разную эффективность оптимизации для различных моделей. Пользователь приводит примеры прироста скорости для Gemma, Qwen и Devstrall, где для малой модели зафиксировано увеличение на 665%. Материал представляет интерес для разработчиков, занимающихся тонкой настройкой инференса LLM.