YandexBot: как работает робот Яндекс и как его проверить
Основной индексирующий робот Яндекса. По этому роботу страницы попадают в поиск Яндекса.
| Владелец | Яндекс |
|---|---|
| Тип | Поисковые роботы |
| Имя в User-Agent и robots.txt | YandexBot |
| Документация | официальная страница |
Соблюдает ли YandexBot robots.txt
Соблюдает robots.txt. Яндекс советует проверять, что робот настоящий, — по обратному DNS: адрес должен принадлежать доменам yandex.ru, yandex.net или yandex.com.
Закрывать YandexBot нельзя — сайт пропадёт из выдачи. Если нужно убрать сайт из ответов с YandexGPT и Алисой, для этого есть отдельный токен YandexAdditional.
Нужно ли закрывать YandexBot
Закрывать YandexBot не нужно: сайт пропадёт из поиска Яндекс. Если хотите ограничить отдельные разделы — используйте Disallow только для них.