Короткий ответ
На одном из моих сайтов ИИ-боты сделали больше чем в четыре раза больше запросов, чем Google. Я взял 30 дней логов сервера, 141 020 запросов, и проверил каждого бота по диапазонам IP, которые публикует его оператор. Подтверждённые боты OpenAI и Perplexity сделали 7 356 запросов, подтверждённые боты Google — 1 747. Если добавить подтверждённый ClaudeBot от Anthropic, соотношение выходит около 5,1.
Важнее соотношения две другие находки. Четверть запросов, назвавшихся Googlebot, оказались поддельными. А ChatGPT раз за разом спрашивал страницы, которых на сайте нет. Это один молодой сайт примерно на 2 400 страниц, так что читайте цифры как снимок, а не приговор. Метод ниже работает на любом сайте, который пишет логи доступа. Ролик выше разбирает этот же аудит, а файлы, чтобы повторить его на своих логах, лежат после статьи. Ролик и файлы на английском.
Почему анализ логов показывает то, чего не видят другие SEO-инструменты
Краулер показывает, что есть на сайте. Search Console показывает, что Google решил просканировать и проиндексировать, и только про Google. Лог доступа — единственная запись того, что каждый бот на самом деле запросил и что ответил сервер: код ответа, объём, user agent, IP-адрес.
Тестовый сайт — справочник цен на местные услуги: около 2 400 страниц на Next.js за Cloudflare. Cloudflare не кеширует его HTML, поэтому каждый запрос страницы доходит до сервера и попадает в лог. От этой детали зависит, возможен ли анализ логов вообще. Если CDN отдаёт HTML из кеша, такие запросы до вашего сервера не доходят. На Cloudflare заголовок cf-cache-status: DYNAMIC на главной значит, что запрос ушёл на сервер. На хостингах без логов доступа, например Vercel или Cloudflare Workers, анализировать просто нечего.
Аудит я запускал локально в ClickHouse: 31 файл логов, 3,6 МБ, 30,6 суток с 8 октября по 8 ноября 2026 года, разобраны все строки. Шаги выполнял и отчёт читал Claude Code, но сам подсчёт — обычный SQL. Мне нужны цифры, которые можно воспроизвести, а не цифры, которые выдала модель.
Кто был в логе
Похожих на браузеры запросов меньше половины, и это ещё не люди. За одно только 2 ноября таких запросов было 12 743.
| Класс | Запросов | Доля |
|---|---|---|
| Похожие на браузер клиенты | 61 523 | 43,6% |
| Скрипты | 27 351 | 19,4% |
| SEO-сервисы (Ahrefs 4 671, Semrush 3 011, DataForSEO 2 256) | 11 937 | 8,5% |
| Бот превью ссылок Facebook | 9 553 | 6,8% |
| Поисковые ИИ-боты | 7 303 | 5,2% |
| Пустой user agent | 4 812 | 3,4% |
| Обучающие ИИ-боты | 4 780 | 3,4% |
| Мои собственные проверки сервера | 4 443 | 3,2% |
| Bing | 2 987 | 2,1% |
| ИИ-запросы по просьбе пользователя | 2 314 | 1,6% |
| Google, все, кто так назвался | 2 278 | 1,6% |
| Apple | 1 361 | 1,0% |
Все ИИ-классы вместе дают 14 397 запросов, 10,2% лога. У Google 1,6%, и в эту цифру ещё входят подделки. Один только бот превью ссылок Facebook сделал больше чем в пять раз больше запросов, чем подтверждённый Google.
Почему Googlebot нельзя считать по user agent
User agent — это текстовый заголовок. Любой скрипт может написать в нём «Googlebot». Из 2 278 запросов, назвавшихся Google, 531 (23%) пришли с 21 IP-адреса вне опубликованных диапазонов Google. Подсчёт по user agent показал бы 2 278 запросов Google и не заметил бы раскола.
Вторая группа хуже: 14 IP-адресов постоянно меняли имя между ChatGPT-User, Claude-User, YouBot и Googlebot. Они сделали 4 611 запросов, 73% закончились ошибкой. Это сканеры в костюмах ботов. С тех пор правило у меня простое: если бота нельзя подтвердить по IP, я не считаю его этим ботом. Собственная документация Google советует любому сайту, маленькому или большому, проверять Googlebot именно так.
Кто публикует диапазоны, на 8 ноября 2026 года:
| Оператор | Что опубликовано | Как это учтено в аудите |
|---|---|---|
| Google, Bing, Apple, OpenAI, Perplexity | JSON-файлы с диапазонами, у OpenAI и Perplexity отдельно по ботам | Проверяется |
| Anthropic | Один список для ClaudeBot, Claude-SearchBot и Claude-User, с 20 октября 2026 года | Проверяется |
| Common Crawl, DuckDuckGo, Mistral | JSON-списки | Опубликованы, мой набор их пока не загружает |
| Amazon | Три списка на страницах для разработчиков, не файлами | Только по user agent |
| Meta, ByteDance | Списка нет | Только по user agent |
Всего 10 операторов публикуют 18 JSON-списков на 3 084 записи. У Google-Extended и Applebot-Extended диапазонов IP нет вовсе: это токены robots.txt, а не краулеры. Пока я собирал проверку, нашлись две ловушки. Шесть диапазонов есть одновременно в списках GPTBot и OAI-SearchBot у OpenAI, поэтому поиск до первого совпадения помечает настоящий GPTBot как подделку. А за CDN или балансировщиком в логе должен быть реальный IP клиента (real_ip_header в nginx, mod_remoteip в Apache), иначе у каждого бота окажется адрес прокси, и все они будут выглядеть поддельными.
Что делал Googlebot: лог против «Статистики сканирования»
Подтверждённый Googlebot сделал за 30 дней 1 708 запросов, около 56 в сутки, по 630 страницам. В sitemap 2 420 адресов. Googlebot запросил 623 из них, а 1 797 (74%) не получили ни одного запроса. Среди страниц поставщиков, самого большого раздела, незапрошенных 77%. Примерно каждый пятый запрос Googlebot (359) шёл к robots.txt.
Search Console рассказывает то же самое со стороны Google. В «Настройках» отчёт «Статистика сканирования» за 90 дней показывает 98% запросов с целью «Обновление» (Refresh), то есть перепроверки уже известных страниц, и 2% «Обнаружения» (Discovery). На HTML приходится 84% запросов, на Googlebot для смартфонов тоже 84%, среднее время ответа 615 мс. «Статус хоста» сообщает, что у хоста «были проблемы в прошлом», хотя в моём логе за последние 30 дней ноль ответов 5xx. Значит, это история, но знать о ней полезно.
«Статистика сканирования» охватывает 90 дней, а лог 30, поэтому я сравниваю структуру, а не числа. И то и другое говорит одно: Google сайт не исследует, он присматривает за тем, что уже знает. Моё прочтение: сайт молодой, и Google с ним осторожен. Это моя интерпретация, Google такого не заявлял.
Проблема ли это краулингового бюджета? Для сайта на 2 400 страниц, по меркам самого Google, почти наверняка нет. Критерии я разбирал в статье о том, когда краулинговый бюджет действительно важен. Здесь 74% говорят о том, что пора проверить перелинковку и sitemap, а не признак голодающего сайта. И «не запрошен за окно» не значит «не проиндексирован».
Что запрашивали ИИ-боты
ИИ-боты бывают трёх видов, и от вида зависит, что с ними делать. Поисковые строят индекс, на котором держатся ИИ-ответы. Обучающие собирают данные для моделей. Пользовательские открывают одну страницу, потому что человек спросил о ней ассистента.
| Бот | Класс | Запросов | Подтверждено по IP | Заметка |
|---|---|---|---|---|
| OAI-SearchBot | поисковый | 4 658 | 4 318 | 91% запросов к реальным страницам из sitemap |
| PerplexityBot | поисковый | 1 945 | 1 687 | 1 536 за один день, 25 октября |
| Amazonbot | обучающий | 1 764 | не проверялся | списки Amazon не загружены |
| ClaudeBot | обучающий | 1 753 | 1 534 (87%) | 479 запросов к sitemap |
| ChatGPT-User | пользовательский | 1 521 | 1 257 | открывает страницы, о которых спрашивают люди |
| GPTBot | обучающий | 324 | 94 | 62% запросов закончились ошибкой |
| Claude-User | пользовательский | 299 | 17 | в основном сканеры под этим именем |
OAI-SearchBot самый активный: 3 658 запросов к 143 страницам услуг, около 26 на страницу за 30 дней, то есть каждую страницу услуги он перечитывает почти ежедневно. PerplexityBot вежливым гостем не назовёшь: четыре пятых его месячных запросов пришлись на один день. ClaudeBot 479 раз забрал один и тот же файл sitemap. На этом сайте поисковые ИИ-боты читают контент чаще, чем Googlebot. Превращается ли это в видимость в ИИ-ответах — отдельный вопрос, о нём в статье AEO и GEO: в чём разница.
Что открывает ChatGPT и какие несуществующие страницы он просит
ChatGPT-User — самый полезный бот в логе: каждый его запрос значит, что живой человек спросил ChatGPT о чём-то, для чего понадобился этот сайт. После главной (685 запросов) он открывал конкретные страницы услуг: замена лобового стекла и покраска автомобиля по 12 раз, жилищный кредит 11, замена шин 10. Он приходит за страницами, а не за служебными файлами: в месячных логах 839 сайтов ИИ-боты с проверенным IP, ChatGPT-User в их числе, запросили llms.txt ровно один раз.
Ещё он запросил восемь адресов, которых на сайте нет: ремонт ванной, строительство кровли, гидроизоляция, чистка водостоков, утепление чердака, утепление, обновление швов и страницу замены шин по неверному адресу. Эти адреса ChatGPT угадал. Для меня это список тем, о которых люди спрашивают, а страницы у меня ещё нет. Правило для таких 404 у меня такое: если страница на эту тему есть по другому адресу — ставлю 301 на неё. Если тема подходит сайту, а страницы нет — в контент-план. Иначе оставляю 404 и никогда не перенаправляю всё скопом на главную. Чем отличаются 404, 410 и редирект, я разбирал в статье что делать с удалёнными страницами.
ChatGPT-User также 221 раз запросил мой путь для редиректов, хотя robots.txt его закрывает. OpenAI пишет, что запросы по инициативе пользователя могут не следовать robots.txt. Это задокументированное поведение, а не сбой.
Возвращается же немного. Вот визиты за те же 30 дней с внешним реферером на страницы, ответившие без ошибки:
| Источник | Визитов | Разных IP |
|---|---|---|
| 120 | 25 | |
| Bing | 85 | 67 |
| ChatGPT | 41 | 20 |
| DuckDuckGo | 30 | 23 |
По числу разных посетителей Bing привёл здесь больше людей, чем Google. Боты читают тысячи страниц, люди приходят десятками.
Когда ИИ-боты перегружают сервер
На маленьком сайте нагрузка не проблема. На одном многоязычном клиентском сайте она ей стала. За 11 дней один краулер, назвавшийся ботом Meta, сделал 41 289 запросов и забрал 2,4 ГБ: это в 13 раз больше запросов, чем 3 055 у Googlebot на том же сайте. Meta не публикует список IP, поэтому я могу сказать только, кем краулер назвался. Около половины запросов обучающих ИИ-ботов там уходили на редиректы: пустая работа и для ботов, и для сервера.
Рефлекс большинства разработчиков, с которыми я сталкиваюсь, — заблокировать ботов или жёстко их ограничить. Понимаю, но заблокированный бот не прочитает вашу страницу, а ассистент, который не может её прочитать, не может её процитировать. OpenAI говорит это прямо: сайты, закрытые от OAI-SearchBot, не показываются в поисковых ответах ChatGPT. Anthropic пишет, что блокировка Claude-SearchBot может снизить видимость в его поисковой выдаче.
Поэтому я действую в таком порядке:
- Проверить по IP и отбросить подделки. Часть «ИИ-нагрузки» обычно создают сканеры под именами ботов.
- Разделить классы. Обучающих ботов можно замедлить или закрыть, поисковых и пользовательских нужно пускать.
- Убрать пустые запросы: редиректы с собственных ссылок, параметрические ловушки, тяжёлые страницы.
- Ограничивать частоту вместо блокировки. Бот, который ждёт секунду между запросами, сделает не больше 86 400 запросов в сутки, какого бы размера ни был сайт.
Порядок важен: блокировка первым шагом отрезает поисковых ботов вместе с краулером, который создал нагрузку. Такой разбор нагрузки от ботов входит в мой обычный технический SEO-аудит.
robots.txt для ИИ-ботов: закрыть обучение, оставить поиск
Чтобы отказаться от обучения ИИ и остаться в ИИ-поиске, закройте обучающих ботов и управляющие токены, а поисковых не трогайте:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: MistralAI-Training
User-agent: Google-Extended
Disallow: /
Строки User-agent подряд делят одно правило под ними. OAI-SearchBot, Claude-SearchBot, PerplexityBot и все, кто не назван, продолжают следовать вашей группе User-agent: *. Три детали, на которых спотыкаются:
- Google-Extended — не краулер. Google пишет, что он не влияет на попадание в Google Поиск и на ранжирование, но распространяется на grounding в приложениях Gemini. Уберите эту строку, если хотите, чтобы Gemini мог вас цитировать.
- Бот со своей группой игнорирует группу
*. Если вы закрываете раздел только для GPTBot, повторите в его группе общие правила (/admin/,/cart/), иначе GPTBot получит к ним доступ. - Пользовательские запросы могут игнорировать robots.txt. OpenAI, Perplexity, Meta, Amazon и Google пишут это каждый про свои. Для них нужен файрвол или ограничение частоты.
Общие правила самого файла — в статье sitemap.xml и robots.txt: что куда. В файлах к статье есть шаблон robots.txt с четырьмя вариантами (всё открыто, закрыто обучение, закрыто всё, закрыты разделы) и таблица 30 ботов с формулировкой каждого оператора.
Что делают крупные сайты? 8 ноября 2026 года я проверил публичные robots.txt 27 крупных издательств, маркетплейсов и справочных сайтов. 18 закрывают полностью (Disallow: / для этого бота) хотя бы одного из 11 ИИ-ботов, 9 не закрывают ни одного. ClaudeBot и Bytespider закрыты у 16 сайтов, GPTBot и CCBot — у 14, PerplexityBot у 11, ChatGPT-User у 8, OAI-SearchBot у 7, а Google-Extended всего у 6. Обучающих ботов закрывают чаще, чем поисковых того же оператора: все 7 сайтов, закрывших OAI-SearchBot, закрыли и GPTBot, а ещё 7 закрыли только GPTBot. Сайты выбирал я, так что это не выборка по интернету. Мой небольшой справочник не закрывает ни одного из этих ботов. Для сайта, который хочет попадать в ИИ-ответы, я считаю это правильным решением.
Ограничение ИИ-ботов в nginx вместо блокировки
Конфиг nginx из файлов делит user agent на три класса и даёт каждому свой лимит на имя бота. Googlebot, Bingbot и обычные посетители не совпадают ни с одним шаблоном и не учитываются вообще.
| Класс | Лимит | 30 быстрых запросов в тесте |
|---|---|---|
| Обучающие (ClaudeBot, GPTBot, CCBot и др.) | 1 запрос в секунду, burst 10 | 11 × 200, 19 × 429 |
| Поисковые (OAI-SearchBot, PerplexityBot и др.) | 5 в секунду, burst 20 | 21 × 200, 9 × 429 |
| Пользовательские (ChatGPT-User, Claude-User и др.) | 5 в секунду, burst 20 | 21 × 200, 9 × 429 |
| Googlebot, Bingbot, Chrome, пустой user agent | не учитываются | 30 × 200 |
Отклонённый запрос получает 429 Too Many Requests с Retry-After: 10. Я проверял конфиг в Docker на nginx 1.30.6 и 1.29.3. Первую неделю запустите его в пробном режиме (dry run): nginx тогда только записывает, что отклонил бы.
Ограничений три. Ни на одной странице операторов, которые я читал, не сказано, как их краулер реагирует на 429. Anthropic и Common Crawl пишут о поддержке Crawl-delay, Amazon и Apple — что их боты его игнорируют, Google его не поддерживает. Ограничение работает по user agent, поэтому подделки тратят лимит настоящего бота; в конфиге ограничения описано, как считать по IP. А Googlebot в список не входит намеренно: руководство Google о снижении частоты сканирования разрешает 429, 500 или 503 только на один-два дня и предупреждает, что адреса, отвечающие так дольше, могут выпасть из индекса.
Пороги в логах сервера: когда действовать
Число в отчёте — повод посмотреть, а не приговор. Это эмпирические правила из трёх пробных аудитов рабочих сайтов в октябре 2026 года, а не пороги Google. Google не публикует процентов ни для одного из этих сигналов.
| Сигнал | Действовать, когда | Первый шаг |
|---|---|---|
| Запросы, назвавшиеся Google и не прошедшие проверку IP | любые | Во всех цифрах по Googlebot брать только подтверждённые |
| 5xx у подтверждённого Googlebot | больше 1% его запросов | Логи ошибок по этим путям и времени |
| Редиректы у подтверждённого Googlebot | больше 10% | Заменить ссылки в шаблонах, меню и sitemap на конечные адреса |
| Адреса из sitemap, не запрошенные за окно | больше 20% | Удлинить окно, затем перелинковать пропущенный раздел |
| Запросы Googlebot к страницам вне sitemap | больше 30% | 410 или 301 для мёртвых адресов, живые добавить в sitemap |
| Один путь со множеством параметрических адресов | больше 1 000 уникальных | Решить, какие параметры меняют контент, остальные закрыть |
| Полезная доля запросов одного краулера | меньше 50% | Выяснить, из чего остальное: редиректы, ошибки, параметры |
| 404 у пользовательских ИИ-запросов | любые | 301, контент-план или оставить как есть |
/.env или /.git/ с ответом 200 | хотя бы один | Сегодня же: закрыть служебные файлы, сменить все ключи из файла |
На этом сайте проверка безопасности прошла чисто: 15 828 запросов к файлам .env, папкам .git и входу в WordPress с 161 IP-адреса, и ни один не получил 200. Отчёт и читать стоит в этом порядке: сначала секретные файлы, потом доля поддельного Googlebot, потом остальное. Есть два ложных срабатывания. На сайтах на Next.js сканеры подставляют в Referer адрес самого сайта, и мусорные 404 выглядят как битые внутренние ссылки. А некоторые приложения на любой неизвестный путь, включая /.env, отдают обычную HTML-страницу с кодом 200; прежде чем паниковать, сравните размер ответа с главной. В полном чек-листе 12 сигналов, обоснование каждого порога и способ проверить исправление.
Как проверить свой сайт за 15 минут
- Возьмите логи доступа. Они есть в панели хостинга или у CDN. Хватит 30 дней; если хостинг хранит всего несколько, копируйте их.
- Разложите каждый запрос по классам: похожие на браузер, скрипты, SEO-сервисы, поисковики, ИИ-боты по видам.
- Проверьте по IP Google, Bing, OpenAI, Perplexity, Apple и Anthropic по их опубликованным диапазонам.
- Откройте «Статистику сканирования» в Search Console и посмотрите соотношение обновления и обнаружения.
- Отфильтруйте 404 от ChatGPT-User и других ассистентов. Это список страниц, о которых люди уже спрашивают.
Шаги 2 и 3 за вас делают файлы после статьи. Набор для аудита логов — это bash и SQL для clickhouse-local: он читает логи nginx или Apache в формате combined у вас на компьютере, сверяет ботов с 13 официальными списками и пишет текстовый отчёт из 19 разделов. На синтетическом примере путь от пустой папки до отчёта занимает около 4 секунд; сам ClickHouse весит около 1,3 ГБ, на Windows он работает внутри WSL. Ничего никуда не загружается. Если удобнее поручить это ИИ-агенту, промт проводит Claude Code или Codex через восемь шагов в режиме только чтения: шесть вопросов вам, установка, прогон на копии логов, таблица находок и список изменений, которые агент не применяет. Показывает он только агрегаты. Никогда не вставляйте сырые строки логов в чат: в них IP-адреса ваших посетителей. В списке диапазонов IP все 18 официальных файлов и небольшой скрипт для проверки одного адреса, а в данных по 27 сайтам есть скрипт, чтобы повторить замер на своём списке.
Кому этот метод не подходит
- Сайтам без логов доступа. Vercel, Cloudflare Workers и похожие платформы таких логов не пишут.
- Сайтам, где CDN отдаёт HTML из кеша. Боты, попавшие в кеш, до лога не доходят, и сервер видит только часть картины. Берите логи самого CDN.
- Тем, кому нужны оповещения в реальном времени. Это отчёт по окну логов, а не мониторинг.
- Логам в других форматах. JSON-логам и выгрузкам CDN сначала нужен свой шаблон разбора.
Что я меняю после этого аудита
Три вещи. Помогу Google добраться до страниц поставщиков, которые он ни разу не запросил, — ссылками со страниц, которые он уже посещает. Создам страницы, которые просит ChatGPT, там, где тема подходит справочнику. И буду проверять ботов по IP, прежде чем верить любому графику о бот-трафике. Через десять дней прогоню тот же аудит и сравню те же разделы.
Границы этих цифр: один молодой сайт, один месяц, Meta и Amazon посчитаны только по user agent, пример перегрузки — с одного клиентского сайта. Ту же картину у Googlebot, в основном обновление и мало обнаружения, я видел на сайтах на нескольких языках, так что это не особенность одного проекта. Но ваш лог расскажет свою историю, и прочитать его гораздо дешевле, чем гадать.
