Видят ли нейросети ваш сайт?

Бесплатная проверка без регистрации: могут ли ChatGPT, Яндекс Нейро, Claude, Perplexity и другие нейросети читать ваш сайт — всего 15 ИИ-ботов, — и что именно им мешает.

Что мы проверяем

  • robots.txt — правила для каждого ИИ-бота по стандарту RFC 9309: общие и отдельные группы, Allow и Disallow, самое длинное правило.
  • Ответ сервера — запрашиваем главную страницу от имени каждого бота и смотрим, что он получит: страницу, отказ 403, ограничение 429 или проверку «вы не робот».
  • llms.txt — есть ли на сайте описание для нейросетей.

Зачем это знать

Всё больше людей ищут ответы в нейросетях, а не в поисковике. Если ИИ-поиск не может прочитать сайт, его не процитируют и не поставят ссылку. А если открыты боты обучения — ваш контент уходит в обучающие данные чужих моделей. Решать, кого пускать, — вам; проверка показывает, как обстоят дела сейчас.

Частые вопросы

Почему нейросети не видят мой сайт, если robots.txt всё разрешает?

Часто мешает не robots.txt, а защита от ботов: сервер или CDN отвечает ИИ-ботам ошибкой 403 или показывает проверку «вы не робот». Робот не проходит такую проверку и уходит без страницы. Поэтому мы проверяем не только правила, но и реальный ответ сервера каждому боту.

Чем бот поиска отличается от бота обучения?

Боты поиска (например, OAI-SearchBot, Claude-SearchBot, PerplexityBot) нужны, чтобы нейросеть могла процитировать ваш сайт в ответе со ссылкой. Боты обучения (GPTBot, ClaudeBot, Google-Extended, CCBot) забирают тексты в обучающие данные — без ссылок и трафика. Многие сайты открывают первых и закрывают вторых.

Как Яндекс Нейро и Алиса читают сайт?

Для ответов Нейро и Алисы Яндекс использует данные своего поиска, а запретить такое использование можно отдельным правилом для робота YandexAdditional в robots.txt. Поэтому для Яндекса мы смотрим только robots.txt.

Почему этих ботов нет в Яндекс Метрике?

ИИ-краулеры не выполняют JavaScript, поэтому ни Метрика, ни другие счётчики их не видят. Узнать, пускает ли их сайт, можно только запросом от их имени — это и делает проверка.