StateBench: Тестирование способности языковых моделей отслеживать изменения состояния в длинных документах

StateBench — это новый бенчмарк, предназначенный для оценки того, как большие языковые модели сохраняют и обновляют информацию о состоянии объектов при анализе длинных текстов. Исследование фокусируется на способности моделей последовательно отслеживать изменения параметров и фактов на протяжении всего документа.