Справочник ботов · SEO-сервисы

SemrushBot: что это за бот и как его закрыть

По данным Semrush, собирает новые и обновлённые данные о сайтах для сервисов Semrush — например, индекса обратных ссылок Backlink Analytics и инструмента Site Audit.

ВладелецSemrush
ТипSEO-сервисы
Имя в User-Agent и robots.txtSemrushBot
Документацияофициальная страница

Соблюдает ли SemrushBot robots.txt

Закрывается правилом для SemrushBot в robots.txt — инструкции есть на странице робота.

Как ограничить SemrushBot

Добавьте в конец файла robots.txt в корне сайта:

User-agent: SemrushBot
Disallow: /

Видно ли SemrushBot в Яндекс Метрике

Как правило, нет: такие роботы забирают HTML страницы, а счётчики работают на JavaScript. Поэтому узнать, пускает ли их сайт, можно только проверкой от их имени — её делает бесплатная проверка.

Проверьте свой сайт

Бесплатно и без регистрации: счётчики, защита от ботов, robots.txt и доступ нейросетей — за 20 секунд.

SEO-сервисы: другие боты