Как ИИ-агенты сканируют сайты: анализ 11 миллионов логов за три месяца

Исследование 11 миллионов логов выявило кардинальные различия в поведении краулеров GPTBot, ClaudeBot и других. GPTBot игнорирует robots.txt, Google строго следует правилам, а ClaudeBot активно наращивает активность для сбора данных. Это меняет подход к SEO, так как теперь важно попасть в выборку ИИ, а не только в топ поиска.