Справочник ботов · Обучение нейросетей

Google-Extended: что это за бот и как его закрыть

Не отдельный обходчик, а токен для robots.txt: по документации Google, он управляет тем, можно ли использовать контент сайта для обучения моделей Gemini и для «заземления» их ответов. Обходит сайт по-прежнему Googlebot.

ВладелецGoogle
ТипОбучение нейросетей
Имя в User-Agent и robots.txtGoogle-Extended
Документацияофициальная страница

Соблюдает ли Google-Extended robots.txt

Google учитывает правила для Google-Extended. Закрыв его, вы не пропадёте из поиска Google.

Как ограничить Google-Extended

Добавьте в конец файла robots.txt в корне сайта:

User-agent: Google-Extended
Disallow: /

Поисковые роботы Яндекса и Google это правило не затрагивает. Готовые наборы правил для всех ИИ-ботов — в бесплатной проверке.

Видно ли Google-Extended в Яндекс Метрике

Как правило, нет: такие роботы забирают HTML страницы, а счётчики работают на JavaScript. Поэтому узнать, пускает ли их сайт, можно только проверкой от их имени — её делает бесплатная проверка.

Открыт ли ваш сайт для Google-Extended?

Бесплатная проверка покажет, что видят Google-Extended и ещё 14 ИИ-ботов: правила robots.txt и реальный ответ вашего сервера.

Обучение нейросетей: другие боты