Справочник ботов · Обучение нейросетей

meta-externalagent: что это за бот и как его закрыть

По документации Meta, просматривает веб-контент для обучения моделей искусственного интеллекта или улучшения продуктов через прямое индексирование контента.

ВладелецMeta*
ТипОбучение нейросетей
Имя в User-Agent и robots.txtmeta-externalagent
Документацияофициальная страница

* Meta признана экстремистской организацией и запрещена в России.

Соблюдает ли meta-externalagent robots.txt

Закрывается правилом для meta-externalagent в robots.txt.

Как ограничить meta-externalagent

Добавьте в конец файла robots.txt в корне сайта:

User-agent: meta-externalagent
Disallow: /

Поисковые роботы Яндекса и Google это правило не затрагивает. Готовые наборы правил для всех ИИ-ботов — в бесплатной проверке.

Видно ли meta-externalagent в Яндекс Метрике

Как правило, нет: такие роботы забирают HTML страницы, а счётчики работают на JavaScript. Поэтому узнать, пускает ли их сайт, можно только проверкой от их имени — её делает бесплатная проверка.

Открыт ли ваш сайт для meta-externalagent?

Бесплатная проверка покажет, что видят meta-externalagent и ещё 14 ИИ-ботов: правила robots.txt и реальный ответ вашего сервера.

Обучение нейросетей: другие боты