Классификатор на основе логитов цифр с llama.cpp

Автор описывает метод, реализованный в mt_llm на базе llama.cpp, который использует небольшую LLM как классификатор, анализируя логиты генерируемых цифр вместо использования грамматик. Модель получает вопрос с вариантами ответов, вероятности для каждой цифры суммируются, и выбирается наиболее вероятная. Это позволяет быстрее и проще классифицировать намерения пользователя.