Почему LLM игнорирует системный промпт: история диалога сильнее инструкций

Авторы исследуют проблему, когда языковые модели нарушают инструкции из системного промпта, и выясняют, что контекст предыдущих сообщений в диалоге часто перевешивает явные правила. На примере голосового ассистента показано, как история взаимодействия влияет на поведение модели и как это учитывать при разработке чат-ботов и агентов.