SemrushBot: что это за бот и как его закрыть
По данным Semrush, собирает новые и обновлённые данные о сайтах для сервисов Semrush — например, индекса обратных ссылок Backlink Analytics и инструмента Site Audit.
| Владелец | Semrush |
|---|---|
| Тип | SEO-сервисы |
| Имя в User-Agent и robots.txt | SemrushBot |
| Документация | официальная страница |
Соблюдает ли SemrushBot robots.txt
Закрывается правилом для SemrushBot в robots.txt — инструкции есть на странице робота.
Как ограничить SemrushBot
Добавьте в конец файла robots.txt в корне сайта:
User-agent: SemrushBot Disallow: /
Видно ли SemrushBot в Яндекс Метрике
Как правило, нет: такие роботы забирают HTML страницы, а счётчики работают на JavaScript. Поэтому узнать, пускает ли их сайт, можно только проверкой от их имени — её делает бесплатная проверка.