Applebot-Extended: что это за бот и как его закрыть
Токен для robots.txt: по документации Apple, запрет для Applebot-Extended исключает контент сайта из обучения генеративных моделей Apple. Обходит сайт по-прежнему Applebot.
| Владелец | Apple |
|---|---|
| Тип | Обучение нейросетей |
| Имя в User-Agent и robots.txt | Applebot-Extended |
| Документация | официальная страница |
Соблюдает ли Applebot-Extended robots.txt
Apple учитывает правила для Applebot-Extended. Сайт при этом остаётся доступен в Spotlight, Siri и Safari.
Как ограничить Applebot-Extended
Добавьте в конец файла robots.txt в корне сайта:
User-agent: Applebot-Extended Disallow: /
Поисковые роботы Яндекса и Google это правило не затрагивает. Готовые наборы правил для всех ИИ-ботов — в бесплатной проверке.
Видно ли Applebot-Extended в Яндекс Метрике
Как правило, нет: такие роботы забирают HTML страницы, а счётчики работают на JavaScript. Поэтому узнать, пускает ли их сайт, можно только проверкой от их имени — её делает бесплатная проверка.