Справочник ботов · Поисковые роботы

Googlebot: как работает робот Google и как его проверить

Поисковый робот Google — есть версии для компьютеров и смартфонов. По нему страницы попадают в поиск Google.

ВладелецGoogle
ТипПоисковые роботы
Имя в User-Agent и robots.txtGooglebot
Документацияофициальная страница

Соблюдает ли Googlebot robots.txt

Соблюдает robots.txt. Обучение Gemini управляется отдельно — токеном Google-Extended.

Нужно ли закрывать Googlebot

Закрывать Googlebot не нужно: сайт пропадёт из поиска Google. Если хотите ограничить отдельные разделы — используйте Disallow только для них.

Проверьте свой сайт

Бесплатно и без регистрации: счётчики, защита от ботов, robots.txt и доступ нейросетей — за 20 секунд.

Поисковые роботы: другие боты