Claude-SearchBot: что это за бот и как его закрыть
Робот поиска Claude: анализирует страницы, чтобы ответы поиска в Claude были точнее и релевантнее.
| Владелец | Anthropic |
|---|---|
| Тип | ИИ-поиск и ответы |
| Имя в User-Agent и robots.txt | Claude-SearchBot |
| Документация | официальная страница |
Соблюдает ли Claude-SearchBot robots.txt
Соблюдает robots.txt. По документации Anthropic, запрет для Claude-SearchBot убирает контент сайта из поисковой оптимизации Claude и может снизить его видимость в ответах.
Как ограничить Claude-SearchBot
Добавьте в конец файла robots.txt в корне сайта:
User-agent: Claude-SearchBot Disallow: /
Поисковые роботы Яндекса и Google это правило не затрагивает. Готовые наборы правил для всех ИИ-ботов — в бесплатной проверке.
Видно ли Claude-SearchBot в Яндекс Метрике
Как правило, нет: такие роботы забирают HTML страницы, а счётчики работают на JavaScript. Поэтому узнать, пускает ли их сайт, можно только проверкой от их имени — её делает бесплатная проверка.