В llama.cpp добавили спекулятивное чекпоинтирование

В библиотеку llama.cpp добавлена функция спекулятивного чекпоинтирования, позволяющая ускорить работу модели. Эффективность зависит от типа задачи и требует настройки параметров, таких как размер n-грамм и лимиты черновиков. Для задач программирования прирост скорости может достигать 50%.