Amazonbot наконец начал соблюдать правила robots.txt

Веб-сканер Amazonbot перестал игнорировать директивы файла robots.txt. Это изменение важно для разработчиков и исследователей, так как влияет на доступность веб-данных для потенциального сбора и обучения ИИ-моделей.