Ускорение генерации кода на 61% с помощью DFlash-черновика в llama.cpp для модели Ling-3.0-tiny

Автор модифицировал модель Ling-3.0-tiny, внедрив специализированный формат DFlash-черновика (UBTree) в основную ветку llama.cpp. Тестирование показало прирост скорости генерации текста на 8% и кода на 61% по сравнению с базовым режимом без спекулятивного выполнения. Решение позволяет использовать ONNX-модели для извлечения текста из PDF и последующей обработки LLM с повышенной эффективностью.