Справочник ботов · Обучение нейросетей

CCBot: что это за бот и как его закрыть

Робот некоммерческого фонда Common Crawl, который собирает открытый архив интернета. Этот архив широко используется для обучения нейросетей.

ВладелецCommon Crawl
ТипОбучение нейросетей
Имя в User-Agent и robots.txtCCBot
Документацияофициальная страница

Соблюдает ли CCBot robots.txt

Соблюдает robots.txt: Common Crawl сам приводит правило «User-agent: CCBot / Disallow: /». Предупреждает, что встречаются подделки под CCBot, и работает с выделенных диапазонов IP.

Как ограничить CCBot

Добавьте в конец файла robots.txt в корне сайта:

User-agent: CCBot
Disallow: /

Поисковые роботы Яндекса и Google это правило не затрагивает. Готовые наборы правил для всех ИИ-ботов — в бесплатной проверке.

Видно ли CCBot в Яндекс Метрике

Как правило, нет: такие роботы забирают HTML страницы, а счётчики работают на JavaScript. Поэтому узнать, пускает ли их сайт, можно только проверкой от их имени — её делает бесплатная проверка.

Открыт ли ваш сайт для CCBot?

Бесплатная проверка покажет, что видят CCBot и ещё 14 ИИ-ботов: правила robots.txt и реальный ответ вашего сервера.

Обучение нейросетей: другие боты