Защита сайта от ботов: найти, проверить и отбить

Трафло показывает, сколько на сайте ботов. Защита идёт дальше: отвечает отказом сетям, из которых идёт только бот-трафик. Работает и с теми, кого не видит ни Метрика, ни сниппет, потому что считает обращения прямо на сервере вашего сайта.

Попробовать бесплатно Как мы это проверяем

Что бывает без защиты

geekix.ru, 15 ноября, без защиты
650запросов в час в пике от фермы ботов: сотни адресов из трёх сетей
×13прямых заходов в Метрике: 683 за день вместо обычных 50
21%роботов по оценке самой Метрики, неделей раньше было 12%

Ферма грузит сервер, портит поведенческие факторы и статистику, а Метрика видит лишь малую часть: большинство запросов до счётчика не доходит. Сама она такую ферму не остановит.

geekix.ru — наш собственный проект. Данные Яндекс Метрики и логов сервера.

Как это работает

  1. Установка за пару минут. Плагин WordPress или один PHP-файл. Ключ подключения берётся в кабинете, через минуту защита «на связи». Сразу после установки она только наблюдает.
  2. Подсчёт на сервере сайта. Защита считает обращения к страницам по сетям, в том числе от ботов без JavaScript, которых не видят ни Метрика, ни сниппет. IP-адреса с вашего сервера не уходят: передаются сеть и обезличенная метка адреса.
  3. Поиск ферм. Сеть считается фермой, если за сутки из неё пришло от 100 обращений с 10 и более адресов, а за всё время хранения не было ни одного человека, ни одного перехода из поиска и ни одного проверенного поискового робота.
  4. Отказ ботам. В выбранном вами режиме сеть-ферма получает отказ (код 403) вместо страницы. Список обновляется раз в 5 минут, журнал и счётчик отбитого — в кабинете.

Три режима

РежимЧто делаетКогда выбрать
Наблюдаю
по умолчанию
Никого не блокирует. Показывает найденные сети и сколько обращений отбил бы.Первые дни на любом сайте: убедиться, что находка верная.
По подтверждениюБлокирует только те сети, которые вы подтвердили кнопкой в кабинете.Когда хотите решать каждый случай сами.
АвтоСам блокирует сети с сильными доказательствами: от 500 обращений с 30 и более адресов и после трёх дней истории. Остальные ждут вашего решения.Когда доверяете находкам и нужна защита без вашего участия.

Чтобы не навредить сайту

Поисковики не блокируются никогда

Яндекс, Google, Bing, Mail.ru и Apple узнаются по обратной проверке адреса: имя по адресу принадлежит поисковику и указывает обратно на тот же адрес. Название в User-Agent ничего не решает, его подделывают за секунду.

Человек не остаётся за дверью

На странице отказа есть кнопка «Я человек». После неё сайт открывается, а сеть снимается с блокировки и автоматически больше не блокируется. Один живой посетитель в сети по данным сниппета делает то же самое.

Сбой не ломает сайт

Если Трафло не отвечает больше часа или в файле защиты ошибка, сайт открыт всем, как без защиты. Если файл видит адрес прокси вместо посетителя, блокировка не включится, а кабинет скажет, как это поправить.

Вы держите руку на кнопке

Режим «Наблюдаю» работает как стоп-кран: переключили, и за 5 минут все блокировки сняты. Любую сеть можно вручную добавить в «не трогать».

Чем это лучше правил, написанных вручную

Правила в nginx или .htaccessЗащита Трафло
Находит ферму из сотен адресов одной сетиИскать в логах самомуАвтоматически, по счётчикам с сервера сайта
Обновление спискаВручную, по мере того как заметитеРаз в 5 минут
Защита поисковых роботовВаша забота: ошибка стоит позиций в поискеОбратная проверка адреса, не блокируются никогда
Если заблокирован человекОн просто не видит сайтКнопка «Я человек» и снятие блокировки с сети
Видно, что отбитоСчитать по логамСчётчик и журнал в кабинете
ОстановитьПравить конфигурацию сервераПереключатель режима

Правила для nginx, .htaccess и Cloudflare Трафло тоже готовит: раздел «Сигналы» в кабинете. Они нужны для сайтов без PHP и для роботов, которые честно называют себя в User-Agent.

Чего защита не делает

  • Не возвращает деньги за уже оплаченные клики в рекламе. Защита бережёт статистику, поведенческие факторы и нагрузку на сервер.
  • Не видит страницы, которые сервер отдаёт из кэша без запуска PHP, и защищает только то, что доходит до WordPress или вашего PHP-кода.
  • Не остановит ферму, которая выполняет JavaScript, двигает мышью и нажимает кнопки: такие сети блокируются вручную в разделе «Сети».
  • Пока ставится только на сайты на PHP, включая WordPress. Для Tilda и других конструкторов есть готовые правила для nginx, .htaccess и Cloudflare в разделе «Сигналы».

Как установить

  1. Зарегистрируйтесь, добавьте сайт и откройте раздел «Защита» в кабинете. 14 дней бесплатно, карта не нужна.
  2. WordPress: скачайте плагин, загрузите его в разделе «Плагины», вставьте ключ подключения в «Настройки → Трафло». Другой сайт на PHP: скачайте файл защиты, положите в корень и подключите одной строкой в index.php.
  3. Через минуту защита на связи и наблюдает. Первые найденные сети появятся, когда накопятся обращения; блокировку включаете вы.

Попробовать бесплатно Проверить сайт на ботов

Частые вопросы

Вы блокируете ботов?

Да, если вы это включите. По умолчанию Трафло только размечает трафик и ничего не блокирует. Защита — плагин WordPress или PHP-файл на сайте: он отвечает отказом сетям, из которых идёт только бот-трафик. Поисковые роботы не блокируются никогда, а человеку достаточно нажать «Я человек».

Что если защита заблокирует настоящего человека?

Сеть блокируется, только если из неё за всё время не было ни одного человека. Если человек всё же попал под блокировку, он нажимает «Я человек» и проходит, а сеть после этого больше не блокируется. Режим «Наблюдаю» позволяет сначала посмотреть, что нашлось, и ничего не отбивать.

Не потеряю ли я позиции в поиске?

Нет. Яндекс, Google, Bing, Mail.ru и Apple проверяются по обратному адресу и не блокируются ни в одном режиме. Сеть, из которой хоть раз пришёл проверенный поисковый робот или переход из поиска, в список блокировки не попадает.

Замедлит ли защита сайт?

Практически нет. На обычном обращении файл читает небольшой локальный список. Раз в 5 минут он делает один запрос к Трафло с коротким таймаутом, в большинстве конфигураций уже после ответа посетителю.

Какие данные уходят в Трафло?

Сеть посетителя (первые три числа IPv4 или первые два блока IPv6), обезличенная метка адреса и счётчики. Сами IP-адреса с вашего сервера не уходят и в Трафло не хранятся.

Работает ли это за Cloudflare или другим прокси?

За Cloudflare защита определяет адрес посетителя сама. За другим прокси или CDN в настройках нужно указать заголовок с адресом посетителя; пока этого нет, блокировка не включится, а кабинет предупредит.

Админку WordPress тоже блокируют?

Плагин не трогает админку, страницу входа и cron WordPress, чтобы владелец не потерял доступ к своему сайту.

Сколько это стоит?

Блокировка входит в тариф «Защита» (от 3 990 ₽ в месяц) и в Pro, а в пробный период доступна полностью: 14 дней бесплатно, карта не нужна. На тарифе Basic защита работает в режиме «Наблюдаю»: сети находим и показываем, сколько обращений отбили бы, но не блокируем.