Bytespider: что это за бот и как его закрыть
Робот компании ByteDance (владелец TikTok). Официальной документации для владельцев сайтов ByteDance не публикует, поэтому назначение и правила известны только по наблюдениям.
| Владелец | ByteDance |
|---|---|
| Тип | Обучение нейросетей |
| Имя в User-Agent и robots.txt | Bytespider |
Соблюдает ли Bytespider robots.txt
Правило для Bytespider в robots.txt добавить можно, но официальных гарантий, что робот его соблюдает, нет. Надёжнее ограничивать на сервере по User-Agent.
Как ограничить Bytespider
Добавьте в конец файла robots.txt в корне сайта:
User-agent: Bytespider Disallow: /
Поисковые роботы Яндекса и Google это правило не затрагивает. Готовые наборы правил для всех ИИ-ботов — в бесплатной проверке.
Видно ли Bytespider в Яндекс Метрике
Как правило, нет: такие роботы забирают HTML страницы, а счётчики работают на JavaScript. Поэтому узнать, пускает ли их сайт, можно только проверкой от их имени — её делает бесплатная проверка.