Справочник ботов · Парсеры и скрипты

curl в логах сайта: что это и как ограничить

Утилита командной строки для HTTP-запросов. В логах сайта обычно означает ручную проверку, мониторинг или простой скрипт.

Владелецконсольная утилита
ТипПарсеры и скрипты
Имя в User-Agent и robots.txtcurl

Соблюдает ли curl robots.txt

curl не читает robots.txt — это просто инструмент запросов.

Как ограничить curl

robots.txt здесь не поможет: скрипт может его не читать. Ограничивайте на сервере, например в nginx:

if ($http_user_agent ~* "curl") {
    return 403;
}

Но название в User-Agent меняется одной строкой кода — опытный парсер представится обычным браузером. Тогда помогают только поведенческие признаки.

Видно ли curl в Яндекс Метрике

Нет. curl не выполняет JavaScript, а счётчики Метрики и Трафло работают на JavaScript. Такие запросы видны только в логах сервера. В Метрику попадают боты на настоящих браузерах — их и нужно отделять.

Проверьте свой сайт

Бесплатно и без регистрации: счётчики, защита от ботов, robots.txt и доступ нейросетей — за 20 секунд.

Парсеры и скрипты: другие боты