AI-краулеры в 2026: кого пускать в robots.txt, чтобы попадать в ответы ИИ

Статья разбирает типичную проблему: сайты оптимизированы под Google и Яндекс, но блокируют AI-ботов (GPTBot, ClaudeBot, PerplexityBot) через robots.txt. В результате контент не индексируется генеративными моделями и не появляется в их ответах, даже если сайт топ-3 в традиционном поиске. Автор показывает, как проверить доступность для AI-краулеров и настроить robots.txt правильно.