DialFork: новый бенчмарк для оценки процедурных галлюцинаций в диалоговых агентах

Исследователи из Idiap и Logitech представили DialFork — первый бенчмарк, измеряющий «процедурные галлюцинации» LLM-агентов, когда модель корректно вызывает инструменты, но нарушает порядок шагов диалога. Датасет содержит более 36 тысяч диалогов с известными точками отклонения и включает три задачи: обнаружение момента срыва, оценку степени отклонения и проверку в реальном времени.