Сколько повторных LLM-запросов достаточно? Тестирование протокола надежности на основе пилотного исследования [R]

Автор нового препринта предлагает метод определения необходимого числа повторений одинаковых промптов к LLM для надежного сравнения результатов, используя теорию обобщаемости. Метод проверен на трех независимых корпусах (опросники политической ориентации и стабильность бенчмарков): из 39 прогнозных ячеек 37 соответствовали критерию репликации. Автор отмечает, что фиксированные пороги итераций не переносятся между задачами, а валидация на данных с брендовыми рекомендациями еще предстоит.