OAI-SearchBot: что это за бот и как его закрыть
Робот поиска ChatGPT: по нему OpenAI находит сайты для показа в поисковых ответах ChatGPT со ссылкой на источник.
| Владелец | OpenAI |
|---|---|
| Тип | ИИ-поиск и ответы |
| Имя в User-Agent и robots.txt | OAI-SearchBot |
| Документация | официальная страница |
Соблюдает ли OAI-SearchBot robots.txt
Соблюдает robots.txt. По документации OpenAI, сайты, закрытые для OAI-SearchBot, не показываются в поисковых ответах ChatGPT (но могут остаться навигационные ссылки).
Если вам нужен трафик из ChatGPT, OAI-SearchBot стоит оставить открытым — это отдельный робот, не связанный с обучением моделей.
Как ограничить OAI-SearchBot
Добавьте в конец файла robots.txt в корне сайта:
User-agent: OAI-SearchBot Disallow: /
Поисковые роботы Яндекса и Google это правило не затрагивает. Готовые наборы правил для всех ИИ-ботов — в бесплатной проверке.
Видно ли OAI-SearchBot в Яндекс Метрике
Как правило, нет: такие роботы забирают HTML страницы, а счётчики работают на JavaScript. Поэтому узнать, пускает ли их сайт, можно только проверкой от их имени — её делает бесплатная проверка.