Справочник ботов · Обучение нейросетей

Bytespider: что это за бот и как его закрыть

Робот компании ByteDance (владелец TikTok). Официальной документации для владельцев сайтов ByteDance не публикует, поэтому назначение и правила известны только по наблюдениям.

ВладелецByteDance
ТипОбучение нейросетей
Имя в User-Agent и robots.txtBytespider

Соблюдает ли Bytespider robots.txt

Правило для Bytespider в robots.txt добавить можно, но официальных гарантий, что робот его соблюдает, нет. Надёжнее ограничивать на сервере по User-Agent.

Как ограничить Bytespider

Добавьте в конец файла robots.txt в корне сайта:

User-agent: Bytespider
Disallow: /

Поисковые роботы Яндекса и Google это правило не затрагивает. Готовые наборы правил для всех ИИ-ботов — в бесплатной проверке.

Видно ли Bytespider в Яндекс Метрике

Как правило, нет: такие роботы забирают HTML страницы, а счётчики работают на JavaScript. Поэтому узнать, пускает ли их сайт, можно только проверкой от их имени — её делает бесплатная проверка.

Открыт ли ваш сайт для Bytespider?

Бесплатная проверка покажет, что видят Bytespider и ещё 14 ИИ-ботов: правила robots.txt и реальный ответ вашего сервера.

Обучение нейросетей: другие боты