Google-Extended: что это за бот и как его закрыть
Не отдельный обходчик, а токен для robots.txt: по документации Google, он управляет тем, можно ли использовать контент сайта для обучения моделей Gemini и для «заземления» их ответов. Обходит сайт по-прежнему Googlebot.
| Владелец | |
|---|---|
| Тип | Обучение нейросетей |
| Имя в User-Agent и robots.txt | Google-Extended |
| Документация | официальная страница |
Соблюдает ли Google-Extended robots.txt
Google учитывает правила для Google-Extended. Закрыв его, вы не пропадёте из поиска Google.
Как ограничить Google-Extended
Добавьте в конец файла robots.txt в корне сайта:
User-agent: Google-Extended Disallow: /
Поисковые роботы Яндекса и Google это правило не затрагивает. Готовые наборы правил для всех ИИ-ботов — в бесплатной проверке.
Видно ли Google-Extended в Яндекс Метрике
Как правило, нет: такие роботы забирают HTML страницы, а счётчики работают на JavaScript. Поэтому узнать, пускает ли их сайт, можно только проверкой от их имени — её делает бесплатная проверка.