Как использовать logprobs для поиска ошибок в ответах LLM

Разработчики из СПАО «Ингосстрах» исследуют возможность оценки уверенности моделей при извлечении данных из документов. Вместо традиционных метрик они анализируют логарифмы вероятностей токенов (logprobs) на каждом шаге генерации, чтобы выявлять потенциальные ошибки в синтаксически корректных, но фактических неверных ответах.