Эксперимент с уверенностью LLM: все ответы были «SURE», но четыре содержали ошибки

Автор эксперимента проверил, можно ли использовать самодекларированную уверенность языковых моделей для фильтрации некорректного кода. В ходе тестирования 179 ответов от трёх моделей на Python все они были помечены как «SURE» (уверены), при этом четыре решения провалили скрытые тесты. Результаты показывают, что текущие модели склонны к чрезмерной уверенности и не используют опцию «UNSURE», что делает этот метод ненадёжным для автоматической валидации.