Справочник ботов · Поисковые роботы

YandexBot: как работает робот Яндекс и как его проверить

Основной индексирующий робот Яндекса. По этому роботу страницы попадают в поиск Яндекса.

ВладелецЯндекс
ТипПоисковые роботы
Имя в User-Agent и robots.txtYandexBot
Документацияофициальная страница

Соблюдает ли YandexBot robots.txt

Соблюдает robots.txt. Яндекс советует проверять, что робот настоящий, — по обратному DNS: адрес должен принадлежать доменам yandex.ru, yandex.net или yandex.com.

Закрывать YandexBot нельзя — сайт пропадёт из выдачи. Если нужно убрать сайт из ответов с YandexGPT и Алисой, для этого есть отдельный токен YandexAdditional.

Нужно ли закрывать YandexBot

Закрывать YandexBot не нужно: сайт пропадёт из поиска Яндекс. Если хотите ограничить отдельные разделы — используйте Disallow только для них.

Проверьте свой сайт

Бесплатно и без регистрации: счётчики, защита от ботов, robots.txt и доступ нейросетей — за 20 секунд.

Поисковые роботы: другие боты