curl в логах сайта: что это и как ограничить
Утилита командной строки для HTTP-запросов. В логах сайта обычно означает ручную проверку, мониторинг или простой скрипт.
| Владелец | консольная утилита |
|---|---|
| Тип | Парсеры и скрипты |
| Имя в User-Agent и robots.txt | curl |
Соблюдает ли curl robots.txt
curl не читает robots.txt — это просто инструмент запросов.
Как ограничить curl
robots.txt здесь не поможет: скрипт может его не читать. Ограничивайте на сервере, например в nginx:
if ($http_user_agent ~* "curl") {
return 403;
}Но название в User-Agent меняется одной строкой кода — опытный парсер представится обычным браузером. Тогда помогают только поведенческие признаки.
Видно ли curl в Яндекс Метрике
Нет. curl не выполняет JavaScript, а счётчики Метрики и Трафло работают на JavaScript. Такие запросы видны только в логах сервера. В Метрику попадают боты на настоящих браузерах — их и нужно отделять.