python-requests в логах сайта: что это и как ограничить
Так по умолчанию представляется популярная библиотека requests для Python. За таким User-Agent стоит не компания, а чей-то скрипт: парсер цен, мониторинг, сборщик контента.
| Владелец | библиотека Python |
|---|---|
| Тип | Парсеры и скрипты |
| Имя в User-Agent и robots.txt | python-requests |
Соблюдает ли python-requests robots.txt
Библиотека сама robots.txt не читает — соблюдать его или нет, решает автор скрипта. Ограничивать такие запросы надёжнее на сервере.
Как ограничить python-requests
robots.txt здесь не поможет: скрипт может его не читать. Ограничивайте на сервере, например в nginx:
if ($http_user_agent ~* "python-requests") {
return 403;
}Но название в User-Agent меняется одной строкой кода — опытный парсер представится обычным браузером. Тогда помогают только поведенческие признаки.
Видно ли python-requests в Яндекс Метрике
Нет. python-requests не выполняет JavaScript, а счётчики Метрики и Трафло работают на JavaScript. Такие запросы видны только в логах сервера. В Метрику попадают боты на настоящих браузерах — их и нужно отделять.