Справочник ботов · SEO-сервисы

AhrefsBot: что это за бот и как его закрыть

По данным Ahrefs, наполняет базу маркетинговой платформы Ahrefs и независимого поисковика Yep. У Ahrefs есть и второй робот — AhrefsSiteAudit.

ВладелецAhrefs
ТипSEO-сервисы
Имя в User-Agent и robots.txtAhrefsBot
Документацияофициальная страница

Соблюдает ли AhrefsBot robots.txt

По данным Ahrefs, соблюдает robots.txt и Crawl-delay.

Как ограничить AhrefsBot

Добавьте в конец файла robots.txt в корне сайта:

User-agent: AhrefsBot
Disallow: /

Видно ли AhrefsBot в Яндекс Метрике

Как правило, нет: такие роботы забирают HTML страницы, а счётчики работают на JavaScript. Поэтому узнать, пускает ли их сайт, можно только проверкой от их имени — её делает бесплатная проверка.

Проверьте свой сайт

Бесплатно и без регистрации: счётчики, защита от ботов, robots.txt и доступ нейросетей — за 20 секунд.

SEO-сервисы: другие боты