По разным оценкам, боты создают около половины мирового веб-трафика. При этом в отчётах Метрики или GA вы видите просто «посетителей»: систему аналитики интересует счётчик, а не вопрос, кто именно пришёл. В результате конверсия, глубина просмотра и стоимость лида считаются от цифры, в которой смешаны люди и скрипты.

Какие боты приходят на обычный сайт

  • Краулеры поисковиков и сервисов. Полезные, честно представляются в user-agent, но всё равно попадают в статистику, если счётчик их не отфильтровал.
  • Скрейперы. Собирают цены, тексты и контакты. Часто маскируются под обычный браузер и ходят с арендованных серверов.
  • Кликфрод. Скликивает рекламные бюджеты. Именно из-за него «дешёвый» канал может оказаться самым дорогим: платите за клики, которые не могут купить.
  • Накрутка и спам-боты. Портят поведенческие факторы и формы обратной связи.

Почему стандартная аналитика это не ловит

В настройках счётчика Метрики есть фильтрация роботов: по строгим правилам или по строгим правилам и поведению. Это полезная настройка, но она отсеивает в первую очередь тех, кого легко узнать, а исключённые визиты просто пропадают из отчётов без объяснения причин.

Встроенные фильтры надёжно отсеивают только самых честных ботов: тех, кто представился в user-agent. Headless-браузер с настоящим Chrome в заголовке, запущенный на сервере в дата-центре, для счётчика неотличим от посетителя. Он исполняет JavaScript, генерирует просмотры и «ведёт себя» достаточно похоже, чтобы попасть в отчёт как человек.

Чем это грозит на практике

Искажаются все производные метрики. Конверсия «падает», когда на сайт приходит волна скрейперов. Рекламный канал выглядит эффективным, хотя половину кликов сделали скрипты. A/B-тест показывает разницу там, где её нет. Решения принимаются по цифрам, в которых неизвестна доля живых людей.

Как измерить долю ботов

Одного признака мало: нужен набор независимых сигналов. Репутация IP-адреса, поведение на странице, отпечаток браузера, согласованность таймзоны и географии. Каждый сигнал по отдельности слаб, но их сумма даёт устойчивую оценку. Подробно разобрали их в статье о шести сигналах бота.

Именно так работает Трафло: каждый визит получает score от 0 до 100 и список причин, по которым он показался подозрительным. Метрику при этом менять не нужно, сниппет работает рядом с любым счётчиком.