AhrefsBot: что это за бот и как его закрыть
По данным Ahrefs, наполняет базу маркетинговой платформы Ahrefs и независимого поисковика Yep. У Ahrefs есть и второй робот — AhrefsSiteAudit.
| Владелец | Ahrefs |
|---|---|
| Тип | SEO-сервисы |
| Имя в User-Agent и robots.txt | AhrefsBot |
| Документация | официальная страница |
Соблюдает ли AhrefsBot robots.txt
По данным Ahrefs, соблюдает robots.txt и Crawl-delay.
Как ограничить AhrefsBot
Добавьте в конец файла robots.txt в корне сайта:
User-agent: AhrefsBot Disallow: /
Видно ли AhrefsBot в Яндекс Метрике
Как правило, нет: такие роботы забирают HTML страницы, а счётчики работают на JavaScript. Поэтому узнать, пускает ли их сайт, можно только проверкой от их имени — её делает бесплатная проверка.