Гари Ильес: robots.txt блокирует краулинг, но не обучение ИИ

Сотрудник Google Гари Ильес разъяснил, что директива Disallow в файле robots.txt для AI-краулеров, таких как GPTBot, запрещает только сканирование страниц, но не препятствует использованию контента для обучения моделей. Это означает, что добавление запретов в robots.txt не гарантирует защиту данных от извлечения для генеративного ИИ.