Где проходит грань доверия к ИИ-агенту при управлении физическим оборудованием?

Автор делится опытом настройки ИИ-агентов для работы с электронным оборудованием, где агент ошибочно принял неисправный канал связи за отключение питания платы. Описана система ограничений: агенты могут только считывать данные и безопасно обесточивать устройства, но любые действия по energization требуют подтверждения человеком. Поднимается вопрос о том, как верифицировать пути аварийного отключения (kill path) перед доверием автономным системам.