meta-externalagent: что это за бот и как его закрыть
По документации Meta, просматривает веб-контент для обучения моделей искусственного интеллекта или улучшения продуктов через прямое индексирование контента.
| Владелец | Meta* |
|---|---|
| Тип | Обучение нейросетей |
| Имя в User-Agent и robots.txt | meta-externalagent |
| Документация | официальная страница |
* Meta признана экстремистской организацией и запрещена в России.
Соблюдает ли meta-externalagent robots.txt
Закрывается правилом для meta-externalagent в robots.txt.
Как ограничить meta-externalagent
Добавьте в конец файла robots.txt в корне сайта:
User-agent: meta-externalagent Disallow: /
Поисковые роботы Яндекса и Google это правило не затрагивает. Готовые наборы правил для всех ИИ-ботов — в бесплатной проверке.
Видно ли meta-externalagent в Яндекс Метрике
Как правило, нет: такие роботы забирают HTML страницы, а счётчики работают на JavaScript. Поэтому узнать, пускает ли их сайт, можно только проверкой от их имени — её делает бесплатная проверка.