Справочник ботов · Обучение нейросетей

Applebot-Extended: что это за бот и как его закрыть

Токен для robots.txt: по документации Apple, запрет для Applebot-Extended исключает контент сайта из обучения генеративных моделей Apple. Обходит сайт по-прежнему Applebot.

ВладелецApple
ТипОбучение нейросетей
Имя в User-Agent и robots.txtApplebot-Extended
Документацияофициальная страница

Соблюдает ли Applebot-Extended robots.txt

Apple учитывает правила для Applebot-Extended. Сайт при этом остаётся доступен в Spotlight, Siri и Safari.

Как ограничить Applebot-Extended

Добавьте в конец файла robots.txt в корне сайта:

User-agent: Applebot-Extended
Disallow: /

Поисковые роботы Яндекса и Google это правило не затрагивает. Готовые наборы правил для всех ИИ-ботов — в бесплатной проверке.

Видно ли Applebot-Extended в Яндекс Метрике

Как правило, нет: такие роботы забирают HTML страницы, а счётчики работают на JavaScript. Поэтому узнать, пускает ли их сайт, можно только проверкой от их имени — её делает бесплатная проверка.

Открыт ли ваш сайт для Applebot-Extended?

Бесплатная проверка покажет, что видят Applebot-Extended и ещё 14 ИИ-ботов: правила robots.txt и реальный ответ вашего сервера.

Обучение нейросетей: другие боты