Обсудить проект

Анализ логов сервера: кто ходит чаще — ИИ-боты или Googlebot

30 дней логов сервера: подтверждённые боты OpenAI и Perplexity сделали в 4,2 раза больше запросов, чем Googlebot, а 23% «Googlebot» оказались подделкой.

Владислав Криворучко — основатель ADLAB
Vladislav Krivorutško

9 ноября 2026 г. · 21 мин чтения

Ролик на английском языке, канал ADLAB. Открыть на YouTube

Содержание
  1. 01Короткий ответ
  2. 02Почему анализ логов показывает то, чего не видят другие SEO-инструменты
  3. 03Кто был в логе
  4. 04Почему Googlebot нельзя считать по user agent
  5. 05Что делал Googlebot: лог против «Статистики сканирования»
  6. 06Что запрашивали ИИ-боты
  7. 07Что открывает ChatGPT и какие несуществующие страницы он просит
  8. 08Когда ИИ-боты перегружают сервер
  9. 09robots.txt для ИИ-ботов: закрыть обучение, оставить поиск
  10. 10Ограничение ИИ-ботов в nginx вместо блокировки
  11. 11Пороги в логах сервера: когда действовать
  12. 12Как проверить свой сайт за 15 минут
  13. 13Кому этот метод не подходит
  14. 14Что я меняю после этого аудита
  15. Проверьте себя
  16. Материалы к ролику

TL;DR — коротко о главном

  1. 1На одном из моих сайтов за 30 дней и 141 020 запросов подтверждённые боты OpenAI и Perplexity сделали 7 356 запросов, подтверждённые боты Google — 1 747, в 4,2 раза меньше
  2. 2531 из 2 278 запросов, назвавшихся Google (23%), пришли с 21 IP-адреса вне опубликованных диапазонов Google: ботов считают по IP, а не по user agent
  3. 374% адресов из sitemap Googlebot за 30 дней не запросил ни разу, а «Статистика сканирования» в Search Console показывает 98% обновления и 2% обнаружения: Google перепроверяет известное, а не исследует сайт
  4. 4Закрыть всех ИИ-ботов стоит видимости: OpenAI пишет, что сайты, закрытые от OAI-SearchBot, не показываются в поисковых ответах ChatGPT. Обучающих закрывайте или замедляйте, поисковых пускайте
  5. 5Первая проверка занимает около 15 минут: логи доступа, классы трафика, проверка IP, «Статистика сканирования» и 404, на которые попадают ассистенты

Короткий ответ

На одном из моих сайтов ИИ-боты сделали больше чем в четыре раза больше запросов, чем Google. Я взял 30 дней логов сервера, 141 020 запросов, и проверил каждого бота по диапазонам IP, которые публикует его оператор. Подтверждённые боты OpenAI и Perplexity сделали 7 356 запросов, подтверждённые боты Google — 1 747. Если добавить подтверждённый ClaudeBot от Anthropic, соотношение выходит около 5,1.

Важнее соотношения две другие находки. Четверть запросов, назвавшихся Googlebot, оказались поддельными. А ChatGPT раз за разом спрашивал страницы, которых на сайте нет. Это один молодой сайт примерно на 2 400 страниц, так что читайте цифры как снимок, а не приговор. Метод ниже работает на любом сайте, который пишет логи доступа. Ролик выше разбирает этот же аудит, а файлы, чтобы повторить его на своих логах, лежат после статьи. Ролик и файлы на английском.

Почему анализ логов показывает то, чего не видят другие SEO-инструменты

Краулер показывает, что есть на сайте. Search Console показывает, что Google решил просканировать и проиндексировать, и только про Google. Лог доступа — единственная запись того, что каждый бот на самом деле запросил и что ответил сервер: код ответа, объём, user agent, IP-адрес.

Тестовый сайт — справочник цен на местные услуги: около 2 400 страниц на Next.js за Cloudflare. Cloudflare не кеширует его HTML, поэтому каждый запрос страницы доходит до сервера и попадает в лог. От этой детали зависит, возможен ли анализ логов вообще. Если CDN отдаёт HTML из кеша, такие запросы до вашего сервера не доходят. На Cloudflare заголовок cf-cache-status: DYNAMIC на главной значит, что запрос ушёл на сервер. На хостингах без логов доступа, например Vercel или Cloudflare Workers, анализировать просто нечего.

Аудит я запускал локально в ClickHouse: 31 файл логов, 3,6 МБ, 30,6 суток с 8 октября по 8 ноября 2026 года, разобраны все строки. Шаги выполнял и отчёт читал Claude Code, но сам подсчёт — обычный SQL. Мне нужны цифры, которые можно воспроизвести, а не цифры, которые выдала модель.

Кто был в логе

Похожих на браузеры запросов меньше половины, и это ещё не люди. За одно только 2 ноября таких запросов было 12 743.

КлассЗапросовДоля
Похожие на браузер клиенты61 52343,6%
Скрипты27 35119,4%
SEO-сервисы (Ahrefs 4 671, Semrush 3 011, DataForSEO 2 256)11 9378,5%
Бот превью ссылок Facebook9 5536,8%
Поисковые ИИ-боты7 3035,2%
Пустой user agent4 8123,4%
Обучающие ИИ-боты4 7803,4%
Мои собственные проверки сервера4 4433,2%
Bing2 9872,1%
ИИ-запросы по просьбе пользователя2 3141,6%
Google, все, кто так назвался2 2781,6%
Apple1 3611,0%

Все ИИ-классы вместе дают 14 397 запросов, 10,2% лога. У Google 1,6%, и в эту цифру ещё входят подделки. Один только бот превью ссылок Facebook сделал больше чем в пять раз больше запросов, чем подтверждённый Google.

Почему Googlebot нельзя считать по user agent

User agent — это текстовый заголовок. Любой скрипт может написать в нём «Googlebot». Из 2 278 запросов, назвавшихся Google, 531 (23%) пришли с 21 IP-адреса вне опубликованных диапазонов Google. Подсчёт по user agent показал бы 2 278 запросов Google и не заметил бы раскола.

Настоящий Googlebot или подделкаUser agent: «Googlebot»2 278 запросовIP входит в опубликованныедиапазоны Google?✓ Да1 747настоящий Google✗ Нет531 (23%)21 IP — подделкаДоли от 2 278 запросов✓ 1 747✗ 531 · 23%
Как аудит разделил запросы, назвавшиеся Google: решает IP-адрес, а не user agent. Тот же лог, с 8 октября по 8 ноября 2026 года.

Вторая группа хуже: 14 IP-адресов постоянно меняли имя между ChatGPT-User, Claude-User, YouBot и Googlebot. Они сделали 4 611 запросов, 73% закончились ошибкой. Это сканеры в костюмах ботов. С тех пор правило у меня простое: если бота нельзя подтвердить по IP, я не считаю его этим ботом. Собственная документация Google советует любому сайту, маленькому или большому, проверять Googlebot именно так.

Кто публикует диапазоны, на 8 ноября 2026 года:

ОператорЧто опубликованоКак это учтено в аудите
Google, Bing, Apple, OpenAI, PerplexityJSON-файлы с диапазонами, у OpenAI и Perplexity отдельно по ботамПроверяется
AnthropicОдин список для ClaudeBot, Claude-SearchBot и Claude-User, с 20 октября 2026 годаПроверяется
Common Crawl, DuckDuckGo, MistralJSON-спискиОпубликованы, мой набор их пока не загружает
AmazonТри списка на страницах для разработчиков, не файламиТолько по user agent
Meta, ByteDanceСписка нетТолько по user agent

Всего 10 операторов публикуют 18 JSON-списков на 3 084 записи. У Google-Extended и Applebot-Extended диапазонов IP нет вовсе: это токены robots.txt, а не краулеры. Пока я собирал проверку, нашлись две ловушки. Шесть диапазонов есть одновременно в списках GPTBot и OAI-SearchBot у OpenAI, поэтому поиск до первого совпадения помечает настоящий GPTBot как подделку. А за CDN или балансировщиком в логе должен быть реальный IP клиента (real_ip_header в nginx, mod_remoteip в Apache), иначе у каждого бота окажется адрес прокси, и все они будут выглядеть поддельными.

Что делал Googlebot: лог против «Статистики сканирования»

Подтверждённый Googlebot сделал за 30 дней 1 708 запросов, около 56 в сутки, по 630 страницам. В sitemap 2 420 адресов. Googlebot запросил 623 из них, а 1 797 (74%) не получили ни одного запроса. Среди страниц поставщиков, самого большого раздела, незапрошенных 77%. Примерно каждый пятый запрос Googlebot (359) шёл к robots.txt.

Search Console рассказывает то же самое со стороны Google. В «Настройках» отчёт «Статистика сканирования» за 90 дней показывает 98% запросов с целью «Обновление» (Refresh), то есть перепроверки уже известных страниц, и 2% «Обнаружения» (Discovery). На HTML приходится 84% запросов, на Googlebot для смартфонов тоже 84%, среднее время ответа 615 мс. «Статус хоста» сообщает, что у хоста «были проблемы в прошлом», хотя в моём логе за последние 30 дней ноль ответов 5xx. Значит, это история, но знать о ней полезно.

«Статистика сканирования» охватывает 90 дней, а лог 30, поэтому я сравниваю структуру, а не числа. И то и другое говорит одно: Google сайт не исследует, он присматривает за тем, что уже знает. Моё прочтение: сайт молодой, и Google с ним осторожен. Это моя интерпретация, Google такого не заявлял.

Проблема ли это краулингового бюджета? Для сайта на 2 400 страниц, по меркам самого Google, почти наверняка нет. Критерии я разбирал в статье о том, когда краулинговый бюджет действительно важен. Здесь 74% говорят о том, что пора проверить перелинковку и sitemap, а не признак голодающего сайта. И «не запрошен за окно» не значит «не проиндексирован».

Что запрашивали ИИ-боты

ИИ-боты бывают трёх видов, и от вида зависит, что с ними делать. Поисковые строят индекс, на котором держатся ИИ-ответы. Обучающие собирают данные для моделей. Пользовательские открывают одну страницу, потому что человек спросил о ней ассистента.

БотКлассЗапросовПодтверждено по IPЗаметка
OAI-SearchBotпоисковый4 6584 31891% запросов к реальным страницам из sitemap
PerplexityBotпоисковый1 9451 6871 536 за один день, 25 октября
Amazonbotобучающий1 764не проверялсясписки Amazon не загружены
ClaudeBotобучающий1 7531 534 (87%)479 запросов к sitemap
ChatGPT-Userпользовательский1 5211 257открывает страницы, о которых спрашивают люди
GPTBotобучающий3249462% запросов закончились ошибкой
Claude-Userпользовательский29917в основном сканеры под этим именем
Подтверждённые запросы ботов за 30 днейПодтверждено по IP, запросов за 30 днейOAI-SearchBot · поисковый4 318Google · все подтверждённые боты1 747PerplexityBot · поисковый1 687ClaudeBot · обучающий1 534ChatGPT-User · пользовательский1 257GPTBot · обучающий94OpenAI + Perplexity: 7 356в 4,2 раза больше, чем Google (1 747)
Запросы, проверенные по опубликованным диапазонам IP каждого оператора, один сайт примерно на 2 400 страниц, с 8 октября по 8 ноября 2026 года. Три бота OpenAI и PerplexityBot в сумме дают 7 356; столбец Google — все подтверждённые краулеры Google.

OAI-SearchBot самый активный: 3 658 запросов к 143 страницам услуг, около 26 на страницу за 30 дней, то есть каждую страницу услуги он перечитывает почти ежедневно. PerplexityBot вежливым гостем не назовёшь: четыре пятых его месячных запросов пришлись на один день. ClaudeBot 479 раз забрал один и тот же файл sitemap. На этом сайте поисковые ИИ-боты читают контент чаще, чем Googlebot. Превращается ли это в видимость в ИИ-ответах — отдельный вопрос, о нём в статье AEO и GEO: в чём разница.

Что открывает ChatGPT и какие несуществующие страницы он просит

ChatGPT-User — самый полезный бот в логе: каждый его запрос значит, что живой человек спросил ChatGPT о чём-то, для чего понадобился этот сайт. После главной (685 запросов) он открывал конкретные страницы услуг: замена лобового стекла и покраска автомобиля по 12 раз, жилищный кредит 11, замена шин 10. Он приходит за страницами, а не за служебными файлами: в месячных логах 839 сайтов ИИ-боты с проверенным IP, ChatGPT-User в их числе, запросили llms.txt ровно один раз.

Ещё он запросил восемь адресов, которых на сайте нет: ремонт ванной, строительство кровли, гидроизоляция, чистка водостоков, утепление чердака, утепление, обновление швов и страницу замены шин по неверному адресу. Эти адреса ChatGPT угадал. Для меня это список тем, о которых люди спрашивают, а страницы у меня ещё нет. Правило для таких 404 у меня такое: если страница на эту тему есть по другому адресу — ставлю 301 на неё. Если тема подходит сайту, а страницы нет — в контент-план. Иначе оставляю 404 и никогда не перенаправляю всё скопом на главную. Чем отличаются 404, 410 и редирект, я разбирал в статье что делать с удалёнными страницами.

ChatGPT-User также 221 раз запросил мой путь для редиректов, хотя robots.txt его закрывает. OpenAI пишет, что запросы по инициативе пользователя могут не следовать robots.txt. Это задокументированное поведение, а не сбой.

Возвращается же немного. Вот визиты за те же 30 дней с внешним реферером на страницы, ответившие без ошибки:

ИсточникВизитовРазных IP
Google12025
Bing8567
ChatGPT4120
DuckDuckGo3023

По числу разных посетителей Bing привёл здесь больше людей, чем Google. Боты читают тысячи страниц, люди приходят десятками.

Когда ИИ-боты перегружают сервер

На маленьком сайте нагрузка не проблема. На одном многоязычном клиентском сайте она ей стала. За 11 дней один краулер, назвавшийся ботом Meta, сделал 41 289 запросов и забрал 2,4 ГБ: это в 13 раз больше запросов, чем 3 055 у Googlebot на том же сайте. Meta не публикует список IP, поэтому я могу сказать только, кем краулер назвался. Около половины запросов обучающих ИИ-ботов там уходили на редиректы: пустая работа и для ботов, и для сервера.

Рефлекс большинства разработчиков, с которыми я сталкиваюсь, — заблокировать ботов или жёстко их ограничить. Понимаю, но заблокированный бот не прочитает вашу страницу, а ассистент, который не может её прочитать, не может её процитировать. OpenAI говорит это прямо: сайты, закрытые от OAI-SearchBot, не показываются в поисковых ответах ChatGPT. Anthropic пишет, что блокировка Claude-SearchBot может снизить видимость в его поисковой выдаче.

Поэтому я действую в таком порядке:

  1. Проверить по IP и отбросить подделки. Часть «ИИ-нагрузки» обычно создают сканеры под именами ботов.
  2. Разделить классы. Обучающих ботов можно замедлить или закрыть, поисковых и пользовательских нужно пускать.
  3. Убрать пустые запросы: редиректы с собственных ссылок, параметрические ловушки, тяжёлые страницы.
  4. Ограничивать частоту вместо блокировки. Бот, который ждёт секунду между запросами, сделает не больше 86 400 запросов в сутки, какого бы размера ни был сайт.

Порядок важен: блокировка первым шагом отрезает поисковых ботов вместе с краулером, который создал нагрузку. Такой разбор нагрузки от ботов входит в мой обычный технический SEO-аудит.

robots.txt для ИИ-ботов: закрыть обучение, оставить поиск

Чтобы отказаться от обучения ИИ и остаться в ИИ-поиске, закройте обучающих ботов и управляющие токены, а поисковых не трогайте:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: MistralAI-Training
User-agent: Google-Extended
Disallow: /

Строки User-agent подряд делят одно правило под ними. OAI-SearchBot, Claude-SearchBot, PerplexityBot и все, кто не назван, продолжают следовать вашей группе User-agent: *. Три детали, на которых спотыкаются:

  • Google-Extended — не краулер. Google пишет, что он не влияет на попадание в Google Поиск и на ранжирование, но распространяется на grounding в приложениях Gemini. Уберите эту строку, если хотите, чтобы Gemini мог вас цитировать.
  • Бот со своей группой игнорирует группу *. Если вы закрываете раздел только для GPTBot, повторите в его группе общие правила (/admin/, /cart/), иначе GPTBot получит к ним доступ.
  • Пользовательские запросы могут игнорировать robots.txt. OpenAI, Perplexity, Meta, Amazon и Google пишут это каждый про свои. Для них нужен файрвол или ограничение частоты.

Общие правила самого файла — в статье sitemap.xml и robots.txt: что куда. В файлах к статье есть шаблон robots.txt с четырьмя вариантами (всё открыто, закрыто обучение, закрыто всё, закрыты разделы) и таблица 30 ботов с формулировкой каждого оператора.

Что делают крупные сайты? 8 ноября 2026 года я проверил публичные robots.txt 27 крупных издательств, маркетплейсов и справочных сайтов. 18 закрывают полностью (Disallow: / для этого бота) хотя бы одного из 11 ИИ-ботов, 9 не закрывают ни одного. ClaudeBot и Bytespider закрыты у 16 сайтов, GPTBot и CCBot — у 14, PerplexityBot у 11, ChatGPT-User у 8, OAI-SearchBot у 7, а Google-Extended всего у 6. Обучающих ботов закрывают чаще, чем поисковых того же оператора: все 7 сайтов, закрывших OAI-SearchBot, закрыли и GPTBot, а ещё 7 закрыли только GPTBot. Сайты выбирал я, так что это не выборка по интернету. Мой небольшой справочник не закрывает ни одного из этих ботов. Для сайта, который хочет попадать в ИИ-ответы, я считаю это правильным решением.

Ограничение ИИ-ботов в nginx вместо блокировки

Конфиг nginx из файлов делит user agent на три класса и даёт каждому свой лимит на имя бота. Googlebot, Bingbot и обычные посетители не совпадают ни с одним шаблоном и не учитываются вообще.

КлассЛимит30 быстрых запросов в тесте
Обучающие (ClaudeBot, GPTBot, CCBot и др.)1 запрос в секунду, burst 1011 × 200, 19 × 429
Поисковые (OAI-SearchBot, PerplexityBot и др.)5 в секунду, burst 2021 × 200, 9 × 429
Пользовательские (ChatGPT-User, Claude-User и др.)5 в секунду, burst 2021 × 200, 9 × 429
Googlebot, Bingbot, Chrome, пустой user agentне учитываются30 × 200

Отклонённый запрос получает 429 Too Many Requests с Retry-After: 10. Я проверял конфиг в Docker на nginx 1.30.6 и 1.29.3. Первую неделю запустите его в пробном режиме (dry run): nginx тогда только записывает, что отклонил бы.

Ограничений три. Ни на одной странице операторов, которые я читал, не сказано, как их краулер реагирует на 429. Anthropic и Common Crawl пишут о поддержке Crawl-delay, Amazon и Apple — что их боты его игнорируют, Google его не поддерживает. Ограничение работает по user agent, поэтому подделки тратят лимит настоящего бота; в конфиге ограничения описано, как считать по IP. А Googlebot в список не входит намеренно: руководство Google о снижении частоты сканирования разрешает 429, 500 или 503 только на один-два дня и предупреждает, что адреса, отвечающие так дольше, могут выпасть из индекса.

Пороги в логах сервера: когда действовать

Число в отчёте — повод посмотреть, а не приговор. Это эмпирические правила из трёх пробных аудитов рабочих сайтов в октябре 2026 года, а не пороги Google. Google не публикует процентов ни для одного из этих сигналов.

СигналДействовать, когдаПервый шаг
Запросы, назвавшиеся Google и не прошедшие проверку IPлюбыеВо всех цифрах по Googlebot брать только подтверждённые
5xx у подтверждённого Googlebotбольше 1% его запросовЛоги ошибок по этим путям и времени
Редиректы у подтверждённого Googlebotбольше 10%Заменить ссылки в шаблонах, меню и sitemap на конечные адреса
Адреса из sitemap, не запрошенные за окнобольше 20%Удлинить окно, затем перелинковать пропущенный раздел
Запросы Googlebot к страницам вне sitemapбольше 30%410 или 301 для мёртвых адресов, живые добавить в sitemap
Один путь со множеством параметрических адресовбольше 1 000 уникальныхРешить, какие параметры меняют контент, остальные закрыть
Полезная доля запросов одного краулераменьше 50%Выяснить, из чего остальное: редиректы, ошибки, параметры
404 у пользовательских ИИ-запросовлюбые301, контент-план или оставить как есть
/.env или /.git/ с ответом 200хотя бы одинСегодня же: закрыть служебные файлы, сменить все ключи из файла

На этом сайте проверка безопасности прошла чисто: 15 828 запросов к файлам .env, папкам .git и входу в WordPress с 161 IP-адреса, и ни один не получил 200. Отчёт и читать стоит в этом порядке: сначала секретные файлы, потом доля поддельного Googlebot, потом остальное. Есть два ложных срабатывания. На сайтах на Next.js сканеры подставляют в Referer адрес самого сайта, и мусорные 404 выглядят как битые внутренние ссылки. А некоторые приложения на любой неизвестный путь, включая /.env, отдают обычную HTML-страницу с кодом 200; прежде чем паниковать, сравните размер ответа с главной. В полном чек-листе 12 сигналов, обоснование каждого порога и способ проверить исправление.

Как проверить свой сайт за 15 минут

  1. Возьмите логи доступа. Они есть в панели хостинга или у CDN. Хватит 30 дней; если хостинг хранит всего несколько, копируйте их.
  2. Разложите каждый запрос по классам: похожие на браузер, скрипты, SEO-сервисы, поисковики, ИИ-боты по видам.
  3. Проверьте по IP Google, Bing, OpenAI, Perplexity, Apple и Anthropic по их опубликованным диапазонам.
  4. Откройте «Статистику сканирования» в Search Console и посмотрите соотношение обновления и обнаружения.
  5. Отфильтруйте 404 от ChatGPT-User и других ассистентов. Это список страниц, о которых люди уже спрашивают.

Шаги 2 и 3 за вас делают файлы после статьи. Набор для аудита логов — это bash и SQL для clickhouse-local: он читает логи nginx или Apache в формате combined у вас на компьютере, сверяет ботов с 13 официальными списками и пишет текстовый отчёт из 19 разделов. На синтетическом примере путь от пустой папки до отчёта занимает около 4 секунд; сам ClickHouse весит около 1,3 ГБ, на Windows он работает внутри WSL. Ничего никуда не загружается. Если удобнее поручить это ИИ-агенту, промт проводит Claude Code или Codex через восемь шагов в режиме только чтения: шесть вопросов вам, установка, прогон на копии логов, таблица находок и список изменений, которые агент не применяет. Показывает он только агрегаты. Никогда не вставляйте сырые строки логов в чат: в них IP-адреса ваших посетителей. В списке диапазонов IP все 18 официальных файлов и небольшой скрипт для проверки одного адреса, а в данных по 27 сайтам есть скрипт, чтобы повторить замер на своём списке.

Кому этот метод не подходит

  • Сайтам без логов доступа. Vercel, Cloudflare Workers и похожие платформы таких логов не пишут.
  • Сайтам, где CDN отдаёт HTML из кеша. Боты, попавшие в кеш, до лога не доходят, и сервер видит только часть картины. Берите логи самого CDN.
  • Тем, кому нужны оповещения в реальном времени. Это отчёт по окну логов, а не мониторинг.
  • Логам в других форматах. JSON-логам и выгрузкам CDN сначала нужен свой шаблон разбора.

Что я меняю после этого аудита

Три вещи. Помогу Google добраться до страниц поставщиков, которые он ни разу не запросил, — ссылками со страниц, которые он уже посещает. Создам страницы, которые просит ChatGPT, там, где тема подходит справочнику. И буду проверять ботов по IP, прежде чем верить любому графику о бот-трафике. Через десять дней прогоню тот же аудит и сравню те же разделы.

Границы этих цифр: один молодой сайт, один месяц, Meta и Amazon посчитаны только по user agent, пример перегрузки — с одного клиентского сайта. Ту же картину у Googlebot, в основном обновление и мало обнаружения, я видел на сайтах на нескольких языках, так что это не особенность одного проекта. Но ваш лог расскажет свою историю, и прочитать его гораздо дешевле, чем гадать.

Тест

Проверьте себя

Несколько вопросов по статье. Ответ и разбор появляются сразу после выбора, ответы никуда не отправляются.

0/4

отвечено

  1. 1.В логе 2 278 запросов с user agent Googlebot. Что нужно сделать, прежде чем считать их обходом Google?
  2. 2.Вы не хотите, чтобы на вашем сайте обучали модели, но хотите, чтобы ChatGPT цитировал вас в поисковых ответах. Что прописать в robots.txt?
  3. 3.ChatGPT-User запросил восемь адресов, которые отдают 404. Как правильно поступить?
  4. 4.На сайте из 2 400 страниц Googlebot за 30 дней не запросил 74% адресов из sitemap. Что это скорее всего значит?

ADLAB · файлы к ролику

Материалы к ролику

Скрипты, промты, шаблоны и данные, которые показаны в ролике. Файлы на английском: текстовые открываются как обычный текст, архив собирает все файлы одного материала.

  1. 01Скрипт · SQL12 файлов · 484 KB · MIT

    Набор для аудита логов сервера: отличить настоящий Googlebot от поддельного с ClickHouse

    Скрипты и SQL: аудит логов nginx или Apache через clickhouse-local, проверка IP каждого бота по официальным диапазонам и отчёт из 19 разделов.

    Состав · 12 файлов
    • README.md

      Требования, установка, прогон за 15 минут, формат лога, как читать отчёт, ограничения

      8.3 KB
    • run.sh

      Запускает весь аудит: логи, IP-диапазоны, классификация, sitemap, отчёт

      8.8 KB
    • install.sh

      Ставит бинарник ClickHouse собственным установщиком ClickHouse; с --dry-run сначала только проверяет

      5.6 KB
    • build_combined.sql

      Разбирает логи nginx/Apache в формате combined в logs.parquet

      1.6 KB
    • enrich.sql

      Добавляет имя бота, класс трафика, флаг проверки (IP в официальных диапазонах) и признак «страница или ресурс»

      7.0 KB
    • report.sql

      19 разделов текстового отчёта

      12 KB
    • ranges.sh

      Скачивает официальные IP-диапазоны краулеров (Google, Bing, Apple, OpenAI, Perplexity, Anthropic)

      4.9 KB
    • sitemap.sh

      Собирает все URL из sitemap (необязательный шаг)

      2.6 KB
    • sample/make_sample_log.py

      Генератор синтетического лога-примера

      13 KB
    • sample/access.sample.log

      Синтетический лог на 1 954 строки для example.com, с настоящими и поддельными ботами

      415 KB
    • sample/sitemap.sample.txt

      108 URL из sitemap к логу-примеру

      3.7 KB
    • LICENSE

      Лицензия MIT, ADLAB OÜ, 2026

      1.0 KB
  2. 02Данные4 файла · 22 KB · CC-BY-4.0

    Как 27 крупных сайтов обходятся с ИИ-краулерами в robots.txt (данные, 2026-11-08)

    27 крупных сайтов, проверка 2026-11-08: кто полностью закрывает ClaudeBot, GPTBot, CCBot или PerplexityBot в robots.txt. CSV, скрипт и методика, CC BY 4.0.

    Состав · 4 файла
    • ai-bots-robots-27-sites.csv

      Строка на сайт: 11 токенов ИИ-краулеров, true — если robots.txt закрывает бота через Disallow: /

      4.7 KB
    • scan_robots.py

      Python 3.8+, только стандартная библиотека; повторяет замер для любого списка доменов

      13 KB
    • sites.txt

      28 доменов, которые запрашивались

      499 B
    • README.md

      Определение, колонки CSV, как повторить замер, ограничения

      3.6 KB
  3. 03Данные · Скрипт2 файла · 6.5 KB · MIT

    Официальные IP-диапазоны краулеров: 18 списков и проверка IP

    Где поисковые и ИИ-краулеры публикуют свои IP-диапазоны: 18 JSON-списков с числом записей и датами, три страницы Amazon и скрипт проверки IP-адреса.

    Состав · 2 файла
    • crawler-ip-ranges.csv

      21 строка: оператор, боты, класс, адрес списка, формат, число записей, дата самого списка, дата проверки, страница оператора

      3.9 KB
    • check_ip.py

      Скрипт на Python: показывает, в официальном списке какого оператора есть IP-адрес

      2.6 KB
  4. 04Промт2 файла · 8.9 KB · MIT

    Промпт: ИИ-агент ставит ClickHouse и проводит аудит логов вашего сервера

    Промпт для Claude Code или Codex: ставит clickhouse-local, проверяет логи доступа на вашем же компьютере и предлагает правки, не применяя их.

    Состав · 2 файла
    • prompt.md

      Промпт, готовый к вставке в агента с доступом к терминалу

      7.2 KB
    • README.md

      Как пользоваться и что проверить, прежде чем доверять результату

      1.7 KB
  5. 05Шаблон · Конфигурация2 файла · 16 KB · MIT

    robots.txt для ИИ-ботов: закрыть обучение, оставить поиск

    Готовые варианты robots.txt для ИИ-краулеров: отказ от обучения, полное закрытие или закрытие отдельных разделов. Справочная таблица 30 ботов с источниками.

    Состав · 2 файла
    • robots-ai-bots.txt

      Шаблон robots.txt с комментариями и четырьмя готовыми вариантами: всё открыто, закрыто обучение, закрыто всё, закрыты разделы

      6.6 KB
    • ai-bots-reference.csv

      30 ботов: оператор, класс, поведение в robots.txt и список IP-диапазонов по странице самого оператора

      9.5 KB
  6. 06Чек-лист1 файл · 11 KB · MIT

    Аудит логов сервера: что значит каждое число и когда действовать

    Чек-лист для чтения аудита логов: 12 сигналов, порог и причина для каждого, следующий шаг. Практические правила из наших аудитов.

  7. 07Конфигурация3 файла · 14 KB · MIT

    Ограничить частоту ИИ-краулеров в nginx вместо блокировки

    Проверенный конфиг nginx: 429 с Retry-After, когда ClaudeBot, GPTBot или CCBot превышают 1 запрос в секунду. Googlebot и Bingbot не учитываются никогда.

    Состав · 3 файла
    • nginx-ai-bots-throttle.conf

      Подключается на уровне http: карты User-Agent, зоны лимитов, 429 с Retry-After, журнал отказов

      6.1 KB
    • README.md

      Установка, пробный прогон, откат и как поменять числа

      1.9 KB
    • test-throttle.sh

      Функциональный тест в одноразовом контейнере Docker; нужны bash, docker и curl

      6.0 KB

Частые вопросы

Как отличить настоящего Googlebot от поддельного?
Проверять IP-адрес, а не user agent. Google публикует диапазоны своих краулеров в JSON-файлах и описывает ещё обратную и прямую DNS-проверку. Запрос с user agent Googlebot, пришедший с IP вне этих диапазонов, к Google отношения не имеет. В 30-дневном логе моего сайта 531 из 2 278 запросов, назвавшихся Google, пришли с 21 такого адреса.
ИИ-боты действительно ходят на сайты чаще Googlebot?
На сайте, который я мерил, да: подтверждённые боты OpenAI и Perplexity сделали за 30 дней 7 356 запросов против 1 747 у подтверждённых ботов Google. Это один молодой сайт примерно на 2 400 страниц, то есть снимок, а не закон. На крупном сайте с сильной ссылочной массой Googlebot вполне может преобладать. Узнать, как у вас, можно только по подтверждённым запросам в собственных логах доступа.
Нужно ли закрывать GPTBot и ClaudeBot в robots.txt?
Если вы против обучения моделей на вашем контенте, закрыть эти обучающие боты разумно, и, по страницам самих операторов, из их поисковых ответов вы от этого не пропадёте. OAI-SearchBot, Claude-SearchBot и PerplexityBot оставьте открытыми, если хотите, чтобы вас цитировали. OpenAI прямо пишет, что сайты, закрытые от OAI-SearchBot, не показываются в поисковых ответах ChatGPT.
Соблюдает ли ChatGPT-User robots.txt?
Не обязательно. OpenAI пишет, что правила robots.txt могут не применяться к запросам, которые инициировал пользователь: страницу попросил человек. В моём логе ChatGPT-User за 30 дней 221 раз запросил путь, закрытый в robots.txt. Если раздел должен быть закрыт и для таких запросов, нужно правило на сервере или файрволе, а не robots.txt.
За сколько дней нужны логи для SEO-анализа?
Для сайта на несколько тысяч адресов рабочее окно — 30 дней. При пяти-семи днях большая доля «незапрошенных» адресов из sitemap чаще всего означает, что Googlebot до них просто ещё не дошёл. Многие хостинги хранят логи всего несколько дней, поэтому для длинного окна их стоит копировать раз в неделю.
Владислав Криворучко — основатель ADLAB

Автор статьи

Владислав Криворучко

Основатель ADLAB OÜ · SEO и Google Ads

Больше 20 лет в поисковом трафике и монетизации, на эстонском рынке — с 2017 года. Работаю один: сам провожу аудит, строю стратегию и веду проекты — без подрядчиков и шаблонов. Пишу только о том, что проверил на своих и клиентских сайтах.

  • 20+ лет в поисковом трафике
  • 50+ проектов под ключ
  • Собственные сайты в конкурентных нишах
  • SEO для ru/et/en в одной выдаче
Подробнее обо мне

Выводы

Лог сервера — единственное место, где видно, что боты реально запрашивают и что им отвечает сервер. На моём сайте ИИ-боты сделали в несколько раз больше запросов, чем Google, четверть «гугловского» трафика оказалась подделкой, а ChatGPT спрашивал страницы, которых у меня ещё нет. Ни краулер, ни Search Console этого не показывают. Начните с проверки по IP, потом решайте, какой класс ботов закрыть, замедлить или пустить. Если в логе видны 5xx для Googlebot, параметрические ловушки или перегрузка сервера ботами, это уже работа для технического SEO-аудита.

Читать дальше