MJ12bot: что это за бот и как его закрыть
Робот британского сервиса Majestic, который строит карту ссылок интернета для SEO-анализа.
| Владелец | Majestic |
|---|---|
| Тип | SEO-сервисы |
| Имя в User-Agent и robots.txt | MJ12bot |
| Документация | официальная страница |
Соблюдает ли MJ12bot robots.txt
По данным Majestic, соблюдает robots.txt и Crawl-delay.
Как ограничить MJ12bot
Добавьте в конец файла robots.txt в корне сайта:
User-agent: MJ12bot Disallow: /
Видно ли MJ12bot в Яндекс Метрике
Как правило, нет: такие роботы забирают HTML страницы, а счётчики работают на JavaScript. Поэтому узнать, пускает ли их сайт, можно только проверкой от их имени — её делает бесплатная проверка.