CCBot: что это за бот и как его закрыть
Робот некоммерческого фонда Common Crawl, который собирает открытый архив интернета. Этот архив широко используется для обучения нейросетей.
| Владелец | Common Crawl |
|---|---|
| Тип | Обучение нейросетей |
| Имя в User-Agent и robots.txt | CCBot |
| Документация | официальная страница |
Соблюдает ли CCBot robots.txt
Соблюдает robots.txt: Common Crawl сам приводит правило «User-agent: CCBot / Disallow: /». Предупреждает, что встречаются подделки под CCBot, и работает с выделенных диапазонов IP.
Как ограничить CCBot
Добавьте в конец файла robots.txt в корне сайта:
User-agent: CCBot Disallow: /
Поисковые роботы Яндекса и Google это правило не затрагивает. Готовые наборы правил для всех ИИ-ботов — в бесплатной проверке.
Видно ли CCBot в Яндекс Метрике
Как правило, нет: такие роботы забирают HTML страницы, а счётчики работают на JavaScript. Поэтому узнать, пускает ли их сайт, можно только проверкой от их имени — её делает бесплатная проверка.