Компьютерные агенты зря полагаются на скриншоты: операционная система может передать данные об элементах

Автор утверждает, что агентам для взаимодействия с интерфейсом не обязательно использовать компьютерное зрение, так как операционная система уже предоставляет доступ к элементам через accessibility tree. Такой подход значительно ускоряет работу за счёт детерминированного поиска, в отличие от вызовов модели для каждого клика, хотя для игр и кастомных UI визуальный анализ всё ещё необходим.