Go-http-client в логах сайта: что это и как ограничить
User-Agent по умолчанию у HTTP-клиента языка Go. Как и python-requests, означает чей-то скрипт или сервис без собственного названия.
| Владелец | стандартная библиотека Go |
|---|---|
| Тип | Парсеры и скрипты |
| Имя в User-Agent и robots.txt | Go-http-client |
Соблюдает ли Go-http-client robots.txt
Сам клиент robots.txt не читает — всё зависит от автора программы.
Как ограничить Go-http-client
robots.txt здесь не поможет: скрипт может его не читать. Ограничивайте на сервере, например в nginx:
if ($http_user_agent ~* "Go-http-client") {
return 403;
}Но название в User-Agent меняется одной строкой кода — опытный парсер представится обычным браузером. Тогда помогают только поведенческие признаки.
Видно ли Go-http-client в Яндекс Метрике
Нет. Go-http-client не выполняет JavaScript, а счётчики Метрики и Трафло работают на JavaScript. Такие запросы видны только в логах сервера. В Метрику попадают боты на настоящих браузерах — их и нужно отделять.