Как Трафло отличает ботов от людей

Вердикт по визиту — не «чёрный ящик». Каждый визит получает оценку от 0 до 100: это сумма весов сработавших признаков. Признаки, веса и пороги открыты, а в кабинете видно, что именно сработало в каждом визите.

Из чего складывается оценка

Сниппет собирает технические признаки визита без cookie и без записи действий пользователя. Признаки делятся на две группы: окружение (кто пришёл и откуда) и поведение (что происходило на странице).

ПризнакВесПочему это признак бота
бот в User-Agent+80Браузер сам представляется роботом: в User-Agent есть bot, crawler, curl, python-requests, headless и т. п. Живые люди так не заходят.
браузером управляет программа+70Браузер сам сообщает, что им управляет программа: свойство navigator.webdriver включено. По стандарту W3C WebDriver оно выставляется, когда браузер запущен средством автоматизации, — у человека за обычным браузером оно выключено.
следы Selenium, Playwright или PhantomJS+70На странице нашлись служебные переменные средств автоматизации — Selenium, ChromeDriver, Playwright, PhantomJS или Nightmare. В обычном браузере их нет.
IP из дата-центра+40Визит пришёл с адреса хостинга, облака или VPN-площадки — в списке 77 провайдеров, включая российские (Selectel, Timeweb, Yandex Cloud, Beget, REG.RU и другие). Люди сидят в домашних и мобильных сетях, а боты и парсеры обычно запускаются на серверах. Человек с VPN тоже получит этот признак, поэтому один он ботом не делает.
окружение безголового браузера+40Браузер представляется обычным настольным, но у него сразу несколько отличий безголового режима: нет встроенных плагинов просмотра PDF, нет объекта window.chrome при User-Agent Chrome, графика рисуется программно (SwiftShader, llvmpipe) или пуст список языков. По одному такое бывает и у людей — например, в виртуальной машине, — поэтому нужны два отличия сразу, и один этот признак ботом не делает.
группа одинаковых визитов без людей+30Этот же браузер (тот же отпечаток) за неделю пришёл на сайт не меньше 5 раз с 3 и более адресов, почти все его визиты подозрительные, и ни в одном не было ни мыши, ни прокрутки, ни чтения дольше 31 секунды. Так выглядит одна программа, которая ходит через разные прокси. Стоит хоть одному визиту группы проявить человека — метка снимается со всех.
после загрузки страница замолчала+40Страница загрузилась, отправила первый сигнал и больше ничего не прислала: ни через 6 секунд, ни при закрытии. Так выглядит бот, который открыл страницу и сразу закрыл браузер. Обычный браузер, даже если человек ушёл через секунду, сообщает о закрытии вкладки. Если сигнал всё же придёт позже, признак снимается.
подозрительный отпечаток браузера+30Браузер не смог нарисовать служебную картинку canvas или нарисовал её как безголовый браузер. У обычных браузеров отпечаток есть всегда.
страница ни разу не была на экране+30Страница загрузилась, но за всё время ни секунды не была на экране, и с ней ничего не делали. Так работают скрытые браузеры парсеров; вкладку, открытую человеком в фоне, одно это правило ботом не делает.
нет движения мыши+25За первые секунды на странице не было ни одного движения мыши или касания. Эмуляторы браузеров часто загружают страницу и ничего с ней не делают. Если человек проявился позже — двигал мышью, касался экрана, долго читал, — признак снимается.
часовой пояс не совпадает с регионом+15Часовой пояс браузера не подходит стране IP-адреса: признак прокси или подменённого окружения. Сравниваем смещение от UTC, а в странах с несколькими поясами (Россия, Казахстан и др.) подходит любой пояс страны.
мгновенный уход со страницы+10Страница закрыта меньше чем через секунду: человек не успевает её даже увидеть.

Пороги

  • 0–39 — человек. Признаков бота нет или они слабые.
  • 40–69 — подозрительный. Есть признаки, но их недостаточно для уверенного вывода: например, человек с VPN или вкладка, открытая в фоне.
  • 70 и выше — бот. Несколько признаков сошлись или сработал однозначный: робот сам назвал себя в User-Agent.

Порог «бот» можно сдвинуть в настройках сайта — история пересчитывается под новый порог. Ни один слабый признак в одиночку не делает визит ботом: так мы бережём людей от ложных срабатываний.

Пересчёт по поведению

Первая оценка ставится сразу при загрузке страницы. Затем сниппет сообщает о поведении — движении мыши и касаниях, прокрутке, времени, когда страница была на экране, — и оценка уточняется. Человек, который несколько секунд читал первый экран, не останется «подозрительным»; скрытый браузер, у которого страница ни разу не была на экране, получит дополнительный признак.

Что мы не храним

  • IP-адрес: в базе только необратимый хэш, страна и город, признак «хостинг или обычная сеть» и сеть адреса (первые три числа IPv4 или первые два блока IPv6). По сети мы находим фермы ботов; отдельного посетителя по ней не определить.
  • Cookie и идентификаторы пользователя: сниппет ничего не пишет в браузер посетителя.
  • Содержимое страниц, введённый в формы текст, записи экрана.

Точность на живом трафике

Ручной разметки мало, поэтому точность мы меряем на визитах, где правда известна заранее. Цифры пересчитываются каждый час по всем подключённым сайтам за последние 30 дней, демо-данные не учитываются.

  • Люди, принятые за ботов. Из 8 354 визитов, где посетитель точно человек — двигал мышью, прокручивал страницу и читал дольше 30 секунд, — ботами названо 1 (0,01%), подозрительными — 69.
  • Боты под маской. Берём роботов, которые сами назвались в User-Agent, и убираем этот признак: так проверяем, поймали бы мы их, притворись они браузером. Из 52 таких визитов ботами были бы названы 32 (61,5%), подозрительными — ещё 17.

Это оценка, а не абсолютная точность: в первый набор попадают самые вовлечённые посетители, во второй — роботы, которые не прячутся.

Защита: как мы блокируем

Сниппет только считает. Чтобы ботов отбивать, на сайт ставится PHP-файл защиты. Он считает обращения к страницам по сетям (в том числе от ботов без JavaScript, которых сниппет не видит) и раз в 5 минут обменивается с Трафло: отдаёт счётчики, получает список сетей, которым отвечать отказом (код 403). IP-адреса посетителей с сервера клиента не уходят: передаются сеть и обезличенная метка адреса.

  • Какую сеть считаем фермой. За сутки из неё пришло от 100 обращений с 10 и более адресов, и за всё время хранения из неё не было ни одного человека (мышь, прокрутка, чтение), ни одного перехода из поиска, ни одного проверенного поискового робота.
  • Поисковых роботов не блокируем. Яндекс, Google, Bing, Mail.ru и Apple узнаём по обратной проверке адреса: имя по адресу должно принадлежать поисковику и указывать обратно на тот же адрес. Название в User-Agent ничего не решает — его легко подделать.
  • Человек не остаётся за дверью. На странице отказа есть кнопка «Я человек». После неё сайт открывается, а сеть снимается с блокировки и больше не блокируется автоматически.
  • Три режима. «Наблюдаю» (по умолчанию) никого не блокирует и показывает, что нашлось. «По подтверждению» блокирует сети, которые подтвердил владелец. «Авто» сам блокирует только сети с сильными доказательствами: от 500 обращений с 30 и более адресов.
  • Отказоустойчивость. Если Трафло не отвечает больше часа или файл видит адрес прокси вместо посетителя, блокировка выключается сама, сайт работает как обычно.

Ограничения: страницы, которые сервер отдаёт из кэша без запуска PHP, файл не видит и не защищает. Ферму, которая выполняет JavaScript и нажимает кнопки, кнопка «Я человек» не остановит — такие сети блокируются вручную. Блокировка не возвращает деньги за уже оплаченные рекламные клики.

Потери на ботах в рублях

Если к сайту подключена Яндекс Метрика, а счётчик связан с Директом, Трафло показывает, сколько рекламных денег ушло на ботов. Расходы по кампаниям за 30 дней мы берём из отчёта Метрики «Директ — расходы» (доступ только на чтение). Визиты по кликам из Директа узнаём по метке yclid в адресе страницы — Директ дописывает её сам. Потери ≈ расход × доля ботов среди таких визитов.

Это оценка. Часть недействительных кликов Директ возвращает сам, а бот без JavaScript в Трафло не попадает. Пока визитов из Директа меньше 30, сумму мы не называем: на малых числах доля ботов случайна. Разбивка по кампаниям работает, если в utm_campaign стоит название или номер кампании.

Ограничения — честно

  • Роботы без JavaScript не запускают сниппет и в статистику не попадают — как и в любой счётчик на странице.
  • Бот на настоящем браузере с домашнего прокси, который двигает мышью и ведёт себя как человек, может остаться «человеком» или «подозрительным». Таких ловят по совокупности визитов — например, детектор накрутки поведенческих факторов сравнивает долю быстрых отказов из поиска с нормой сайта.
  • Человек с VPN на адресе хостинга получит признак «IP из дата-центра» и может попасть в «подозрительные», но не в боты.
  • Точность зависит от трафика сайта. Проверяйте её на своих данных: размечайте визиты в кабинете и смотрите долю совпадений.

Как проверить нас

  1. Откройте в кабинете список визитов и любой визит: видно все признаки и их веса.
  2. Отметьте визиты, про которые знаете правду: свой заход, заход коллеги, известного робота.
  3. В обзоре сайта блок «Проверка точности» покажет долю совпадений, людей, принятых за ботов, и пропущенных ботов.

Чем Трафло отличается от фильтра роботов в Яндекс Метрике — на странице «Трафло и Метрика».

Частые вопросы

Можно ли проверить вердикт по конкретному визиту?

Да. В кабинете у каждого визита показаны сработавшие и несработавшие признаки с весами. Если вы знаете, что это был человек или бот, отметьте это кнопкой — кабинет покажет, как часто наш вердикт совпадает с вашим.

Почему оценка визита может измениться?

Первый вердикт ставится при загрузке страницы, когда о поведении ещё ничего не известно. Дальше браузер досылает данные: движение мыши, прокрутку, время на странице. Если человек проявился — признаки снимаются и оценка падает; если страница так и не подала признаков жизни — растёт.

Что Трафло не видит?

Роботов, которые не выполняют JavaScript: простые парсеры, curl, большинство ИИ-краулеров. Они не запускают ни наш сниппет, ни счётчик Метрики и видны только в логах сервера. Доступ ИИ-ботов мы проверяем отдельно — запросом от их имени.

Трафло блокирует ботов?

Нет. Трафло измеряет и объясняет: посетители не видят капчу, сайт не замедляется, а ошибочный вердикт не закрывает сайт перед живым человеком. Решение, что делать с ботами, остаётся за вами.

Проверьте на своём трафике

14 дней бесплатно: одна строка кода — и по каждому визиту видно, человек это или бот и почему.

Попробовать бесплатно