Arutame projekti

Serverilogide analüüs: kas AI-robotid käivad sagedamini kui Googlebot?

30 päeva serverilogisid: kinnitatud OpenAI ja Perplexity robotid tegid 4,2 korda rohkem päringuid kui Googlebot ja 23% „Googlebotist“ oli võlts.

Vladislav Krivorutško — ADLABi asutaja
Vladislav Krivorutško

9. november 2026 · 20 min lugemist

Video on inglise keeles, kanal ADLAB. Ava YouTube'is

Sisukord
  1. 01Lühike vastus
  2. 02Miks logianalüüs näitab seda, mida teised SEO tööriistad ei näe
  3. 03Kes logis olid
  4. 04Miks Googlebotit ei saa lugeda user agenti järgi
  5. 05Mida tegi Googlebot: logi ja roomamisstatistika kõrvuti
  6. 06Mida AI-robotid küsisid
  7. 07Mida ChatGPT avab ja milliseid olematuid lehti ta küsib
  8. 08Kui AI-robotid serverit üle koormavad
  9. 09robots.txt AI-robotitele: treenimine kinni, otsing lahti
  10. 10AI-robotite piiramine nginxis blokeerimise asemel
  11. 11Serverilogide läviväärtused: millal tegutseda
  12. 12Kuidas oma saiti 15 minutiga kontrollida
  13. 13Kellele see meetod ei sobi
  14. 14Mida ma pärast seda auditit muudan
  15. Kontrollige ennast
  16. Materjalid videost

TL;DR — lühidalt peamisest

  1. 1Ühel minu saidil tegid kinnitatud OpenAI ja Perplexity robotid 30 päeva ja 141 020 päringu jooksul 7 356 päringut, kinnitatud Google'i robotid 1 747 ehk 4,2 korda vähem
  2. 22 278 päringust, mis nimetasid end Google'iks, tuli 531 (23%) 21 IP-aadressilt väljaspool Google'i avaldatud vahemikke: roboteid loetakse IP järgi, mitte user agenti järgi
  3. 374% sitemap'i aadressidest jäi Googlebotil 30 päeva jooksul pärimata ja Search Console'i roomamisstatistika näitab 98% värskendamist ja 2% avastamist: Google kontrollib tuntut üle, mitte ei avasta saiti
  4. 4Kõigi AI-robotite sulgemisel on hind: OpenAI kirjutab, et OAI-SearchBoti eest suletud saite ChatGPT otsinguvastustes ei näidata. Treenimisrobotid sulgege või aeglustage, otsingurobotid laske sisse
  5. 5Esimene kontroll võtab umbes 15 minutit: juurdepääsulogid, liikluse klassid, IP kontroll, roomamisstatistika ja 404-d, millele assistendid satuvad

Lühike vastus

Ühel minu saidil tegid AI-robotid üle nelja korra rohkem päringuid kui Google. Võtsin 30 päeva serverilogisid, 141 020 päringut, ja kontrollisin iga robotit IP-vahemike järgi, mille selle operaator avaldab. Kinnitatud OpenAI ja Perplexity robotid tegid 7 356 päringut, kinnitatud Google'i robotid 1 747. Kui lisada Anthropicu kinnitatud ClaudeBot, on suhe umbes 5,1.

Suhtest olulisemad on kaks muud leidu. Veerand päringutest, mis nimetasid end Googlebotiks, oli võltsitud. Ja ChatGPT küsis ikka ja jälle lehti, mida saidil pole. Tegu on ühe noore, umbes 2 400 lehega saidiga, seega lugege numbreid hetkeseisuna, mitte otsusena. Allolev meetod töötab igal saidil, mis kirjutab juurdepääsulogisid. Ülal olev video käib sama auditi läbi ning failid, et seda oma logidel korrata, leiate artikli järelt. Video ja failid on inglise keeles.

Miks logianalüüs näitab seda, mida teised SEO tööriistad ei näe

Roomaja näitab, mis saidil olemas on. Search Console näitab, mida Google otsustas roomata ja indekseerida, ning ainult Google'i kohta. Juurdepääsulogi on ainus kirje sellest, mida iga robot päriselt küsis ja mida server vastas: vastusekood, maht, user agent, IP-aadress.

Testsait on kohalike teenuste hinnakataloog: umbes 2 400 lehte, Next.js Cloudflare'i taga. Cloudflare selle HTML-i vahemällu ei pane, nii et iga lehepäring jõuab serverini ja jääb logisse. Sellest detailist sõltub, kas logianalüüs on üldse võimalik. Kui CDN annab HTML-i vahemälust, ei jõua need päringud teie serverini. Cloudflare'is tähendab avalehe päis cf-cache-status: DYNAMIC, et päring läks serverisse. Majutustel, mis juurdepääsulogi ei kirjuta, näiteks Vercel või Cloudflare Workers, pole midagi analüüsida.

Auditi tegin lokaalselt ClickHouse'iga: 31 logifaili, 3,6 MB, 30,6 ööpäeva 8. oktoobrist 8. novembrini 2026, kõik read loetud. Samme käivitas ja aruannet luges Claude Code, kuid loendamine ise on tavaline SQL. Mulle on vaja numbreid, mida saab korrata, mitte numbreid, mille mudel välja pakkus.

Kes logis olid

Brauserilaadseid päringuid on alla poole ja need pole veel inimesed. Ainuüksi 2. novembril oli neid 12 743.

KlassPäringuidOsakaal
Brauserilaadsed kliendid61 52343,6%
Skriptid27 35119,4%
SEO-teenused (Ahrefs 4 671, Semrush 3 011, DataForSEO 2 256)11 9378,5%
Facebooki lingi eelvaate robot9 5536,8%
AI-otsingurobotid7 3035,2%
Tühi user agent4 8123,4%
AI-treenimisrobotid4 7803,4%
Minu enda serverikontrollid4 4433,2%
Bing2 9872,1%
Kasutaja algatatud AI-päringud2 3141,6%
Google, kõik, kes end nii nimetasid2 2781,6%
Apple1 3611,0%

Kõik AI-klassid kokku annavad 14 397 päringut ehk 10,2% logist. Google'il on 1,6% ja selles arvus on veel võltsingud sees. Ainuüksi Facebooki lingi eelvaate robot tegi üle viie korra rohkem päringuid kui kinnitatud Google.

Miks Googlebotit ei saa lugeda user agenti järgi

User agent on tekstipäis. Iga skript võib sinna kirjutada „Googlebot“. 2 278 päringust, mis nimetasid end Google'iks, tuli 531 (23%) 21 IP-aadressilt väljaspool Google'i avaldatud vahemikke. User agenti järgi loendades oleks tulemus olnud 2 278 Google'i päringut ja lõhe oleks jäänud märkamata.

Päris või võlts GooglebotUser agent: „Googlebot“2 278 päringutKas IP on Google’iavaldatud vahemikes?✓ Jah1 747päris Google✗ Ei531 (23%)21 IP: võltsOsakaal 2 278 päringust✓ 1 747✗ 531 · 23%
Kuidas audit jagas Google'iks nimetanud päringud: otsustab IP-aadress, mitte user agent. Sama logi, 8. oktoobrist 8. novembrini 2026.

Teine rühm oli hullem: 14 IP-aadressi vahetasid pidevalt nime ChatGPT-Useri, Claude-Useri, YouBoti ja Googleboti vahel. Nad tegid 4 611 päringut, millest 73% lõppes veaga. Need on robotikostüümis skannerid. Sellest ajast on mu reegel lihtne: kui robotit ei saa IP järgi kinnitada, ei loe ma teda selleks robotiks. Google'i enda dokumentatsioon soovitab igal saidil, väikesel või suurel, Googlebotit just nii kontrollida.

Kes vahemikke avaldab, seisuga 8. november 2026:

OperaatorMis on avaldatudKuidas auditis arvestatud
Google, Bing, Apple, OpenAI, PerplexityJSON-failid vahemikega, OpenAI-l ja Perplexityl robotite kaupaKontrollitakse
AnthropicÜks nimekiri ClaudeBotile, Claude-SearchBotile ja Claude-Userile, alates 20. oktoobrist 2026Kontrollitakse
Common Crawl, DuckDuckGo, MistralJSON-nimekirjadAvaldatud, minu komplekt neid veel ei laadi
AmazonKolm nimekirja arendajalehtedel, mitte failidenaAinult user agenti järgi
Meta, ByteDanceNimekirja poleAinult user agenti järgi

Kokku avaldab 10 operaatorit 18 JSON-nimekirja 3 084 kirjega. Google-Extendedil ja Applebot-Extendedil IP-vahemikke pole üldse: need on robots.txt-i märgid, mitte roomajad. Kontrolli ehitades tuli välja kaks lõksu. Kuus vahemikku on korraga nii OpenAI GPTBoti kui ka OAI-SearchBoti nimekirjas, nii et esimese vasteni otsimine märgib päris GPTBoti võltsiks. Ja CDN-i või koormusjaoturi taga peab logis olema kliendi päris IP (nginxis real_ip_header, Apache'is mod_remoteip), muidu on igal robotil proksi aadress ja kõik paistavad võltsidena.

Mida tegi Googlebot: logi ja roomamisstatistika kõrvuti

Kinnitatud Googlebot tegi 30 päevaga 1 708 päringut, umbes 56 ööpäevas, 630 lehele. Sitemap'is on 2 420 aadressi. Googlebot küsis neist 623 ja 1 797 (74%) ei saanud ühtegi päringut. Teenusepakkujate lehtedel, saidi suurimas jaotises, jäi pärimata 77%. Umbes iga viies Googleboti päring (359) läks robots.txt-ile.

Search Console räägib sama lugu Google'i poolelt. Jaotises „Seaded“ näitab roomamisstatistika 90 päeva kohta, et 98% päringutest on eesmärgiga „värskendamine“ (Refresh) ehk juba tuntud lehtede ülekontroll ja 2% „avastamine“ (Discovery). HTML-ile langeb 84% päringutest, nutitelefoni Googlebotile samuti 84%, keskmine vastuseaeg on 615 ms. Hosti olek ütleb, et hostil „oli varem probleeme“, kuigi minu logis on viimase 30 päeva jooksul null 5xx-vastust. Järelikult on see ajalugu, aga teada tasub.

Roomamisstatistika katab 90 päeva ja logi 30, seega võrdlen struktuuri, mitte arve. Mõlemad ütlevad sama: Google seda saiti ei avasta, vaid hoiab silma peal sellel, mida juba teab. Minu tõlgendus on, et sait on noor ja Google on sellega ettevaatlik. See on minu järeldus, Google ise pole seda öelnud.

Kas tegu on roomamiseelarve probleemiga? 2 400 lehega saidi puhul Google'i enda mõõdupuu järgi peaaegu kindlasti mitte. Kriteeriumid on kirjas artiklis millal roomamiseelarve päriselt loeb. Siin on 74% märk, et tuleb üle vaadata sisemine linkimine ja sitemap, mitte tõend näljas saidist. Ja „aknas pärimata“ ei tähenda „indekseerimata“.

Mida AI-robotid küsisid

AI-roboteid on kolme liiki ja liigist sõltub, mida nendega teha. Otsingurobotid ehitavad indeksi, millel AI-vastused põhinevad. Treenimisrobotid koguvad mudelitele andmeid. Kasutaja algatatud päringud avavad ühe lehe, sest inimene küsis selle kohta assistendilt.

RobotKlassPäringuidIP järgi kinnitatudMärkus
OAI-SearchBototsing4 6584 31891% päringutest päris lehtedele sitemap'ist
PerplexityBototsing1 9451 6871 536 ühe päevaga, 25. oktoobril
Amazonbottreenimine1 764ei kontrollitudAmazoni nimekirjad pole laaditud
ClaudeBottreenimine1 7531 534 (87%)479 päringut sitemap'ile
ChatGPT-Userkasutaja algatatud1 5211 257avab lehti, mille kohta inimesed küsivad
GPTBottreenimine3249462% päringutest lõppes veaga
Claude-Userkasutaja algatatud29917peamiselt selle nime all käivad skannerid
Robotite kinnitatud päringud 30 päevagaIP järgi kinnitatud päringud, 30 päevaOAI-SearchBot · otsing4 318Google · kõik kinnitatud robotid1 747PerplexityBot · otsing1 687ClaudeBot · treenimine1 534ChatGPT-User · kasutaja algatatud1 257GPTBot · treenimine94OpenAI + Perplexity: 7 3564,2 korda rohkem kui Google (1 747)
Päringud, mida kontrolliti iga operaatori avaldatud IP-vahemike järgi, üks umbes 2 400 lehega sait, 8. oktoobrist 8. novembrini 2026. OpenAI kolm robotit ja PerplexityBot annavad kokku 7 356; Google'i tulp sisaldab kõiki kinnitatud Google'i roomajaid.

Kõige aktiivsem on OAI-SearchBot: 3 658 päringut 143 teenuselehele, umbes 26 lehe kohta 30 päevaga, seega loeb ta iga teenuselehe üle peaaegu iga päev. PerplexityBot viisakas külaline pole: neli viiendikku tema kuu päringutest tuli ühel päeval. ClaudeBot võttis sama sitemap'i faili 479 korda. Sellel saidil loevad AI-otsingurobotid sisu sagedamini kui Googlebot. Kas see muutub nähtavuseks AI-vastustes, on eraldi küsimus, millest kirjutasin artiklis AEO vs GEO.

Mida ChatGPT avab ja milliseid olematuid lehti ta küsib

ChatGPT-User on logis kõige kasulikum robot: iga tema päring tähendab, et päris inimene küsis ChatGPT-lt midagi, milleks oli vaja just seda saiti. Pärast avalehte (685 päringut) avas ta konkreetseid teenuselehti: tuuleklaasi vahetus ja auto värvimine kumbki 12 korda, kodulaen 11, rehvivahetus 10. Ta tuleb lehtede, mitte abifailide järele: 839 saidi kuu aja logides küsisid kinnitatud IP-ga AI-robotid, ChatGPT-User kaasa arvatud, llms.txt-i ainult ühe korra.

Lisaks küsis ta kaheksat aadressi, mida saidil pole: vannitoa remont, katuse ehitus, hüdroisolatsioon, vihmaveerennide puhastus, pööningu soojustamine, soojustamine, vuukide uuendamine ja rehvivahetuse leht vale aadressiga. Need aadressid arvas ChatGPT ise ära. Minu jaoks on see nimekiri teemadest, mille kohta inimesed küsivad, aga mul lehte veel pole. Selliste 404-de puhul on mu reegel järgmine. Kui selle teema leht on olemas teisel aadressil, panen sinna 301. Kui teema sobib saidile, aga lehte pole, läheb see sisuplaani. Muul juhul jätan 404 ja ei suuna neid kunagi hulgi avalehele. Mille poolest erinevad 404, 410 ja ümbersuunamine, kirjutasin artiklis mida teha kustutatud lehtedega.

ChatGPT-User küsis ka minu ümbersuunamiste rada 221 korda, kuigi robots.txt selle sulgeb. OpenAI kirjutab, et kasutaja algatatud päringud ei pruugi robots.txt-i järgida. See on dokumenteeritud käitumine, mitte viga.

Tagasi tuleb vähe. Need on samade 30 päeva külastused, mis tulid välise refereriga lehele, mis vastas veata:

AllikasKülastusiErinevaid IP-sid
Google12025
Bing8567
ChatGPT4120
DuckDuckGo3023

Erinevate külastajate arvult tõi Bing siia rohkem inimesi kui Google. Robotid loevad tuhandeid lehti, inimesed tulevad kümnete kaupa.

Kui AI-robotid serverit üle koormavad

Väikesel saidil koormus probleem pole. Ühel mitmekeelsel kliendisaidil oli. 11 päevaga tegi üks roomaja, mis nimetas end Meta omaks, 41 289 päringut ja võttis 2,4 GB: see on 13 korda rohkem päringuid kui Googleboti 3 055 samal saidil. Meta IP-nimekirja ei avalda, nii et saan öelda ainult seda, kelleks roomaja end nimetas. Umbes pool AI-treenimisrobotite päringutest läks seal ümbersuunamistele: tühi töö nii robotitele kui ka serverile.

Enamiku arendajate refleks, keda kohtan, on robotid blokeerida või neid karmilt piirata. Saan aru, kuid blokeeritud robot ei loe teie lehte ja assistent, kes lehte lugeda ei saa, ei saa seda ka tsiteerida. OpenAI ütleb seda otse: OAI-SearchBoti eest suletud saite ChatGPT otsinguvastustes ei näidata. Anthropic kirjutab, et Claude-SearchBoti blokeerimine võib vähendada nähtavust tema otsingutulemustes.

Seepärast teen nii:

  1. Kontrollin IP järgi ja jätan võltsid kõrvale. Osa „AI-koormusest“ tekitavad tavaliselt robotinimede all käivad skannerid.
  2. Eraldan klassid. Treenimisroboteid võib aeglustada või sulgeda, otsingurobotid ja kasutaja algatatud päringud peavad sisse saama.
  3. Kõrvaldan raiskamise: ümbersuunamised saidi enda linkidelt, parameetrilõksud, rasked lehed.
  4. Piiran sagedust blokeerimise asemel. Robot, mis ootab päringute vahel sekundi, teeb ööpäevas kõige rohkem 86 400 päringut, olgu sait kui suur tahes.

Järjekord on oluline: kui alustada blokeerimisest, lõikab see otsingurobotid ära koos roomajaga, kes koormuse tekitas. Robotikoormuse selline lahtiharutamine on tavaline osa minu tehnilisest SEO auditist.

robots.txt AI-robotitele: treenimine kinni, otsing lahti

Et loobuda AI-treenimisest ja jääda AI-otsingusse, sulgege treenimisrobotid ja juhtmärgid ning jätke otsingurobotid puutumata:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: MistralAI-Training
User-agent: Google-Extended
Disallow: /

Järjestikused User-agent read jagavad nende all olevat reeglit. OAI-SearchBot, Claude-SearchBot, PerplexityBot ja kõik nimetamata robotid järgivad edasi teie User-agent: * rühma. Kolm detaili, millele komistatakse:

  • Google-Extended ei ole roomaja. Google kirjutab, et see ei mõjuta Google'i otsingusse jõudmist ega järjestust, kuid hõlmab grounding'ut Gemini rakendustes. Kustutage see rida, kui soovite, et Gemini saaks teid tsiteerida.
  • Oma rühmaga robot eirab rühma *. Kui sulgete jaotise ainult GPTBotile, korrake tema rühmas üldisi reegleid (/admin/, /cart/), muidu saab GPTBot neile ligi.
  • Kasutaja algatatud päringud võivad robots.txt-i eirata. OpenAI, Perplexity, Meta, Amazon ja Google ütlevad seda igaüks oma robotite kohta. Nende jaoks on vaja tulemüüri või sageduse piiramist.

Faili üldreeglid on artiklis sitemap.xml ja robots.txt seadistamine. Artikli failide hulgas on robots.txt mall nelja variandiga (kõik lahti, treenimine kinni, kõik kinni, jaotised kinni) ja 30 roboti tabel iga operaatori enda sõnastusega.

Mida teevad suured saidid? 8. novembril 2026 kontrollisin 27 suure kirjastuse, turuplatsi ja teatmesaidi avalikku robots.txt-i. 18 sulgevad täielikult (Disallow: / sellele robotile) vähemalt ühe 11-st AI-robotist, 9 ei sulge ühtegi. ClaudeBoti ja Bytespiderit sulgeb 16 saiti, GPTBotit ja CCBotit 14, PerplexityBotit 11, ChatGPT-Userit 8, OAI-SearchBotit 7 ja Google-Extendedit vaid 6. Treenimisroboteid suletakse sagedamini kui sama operaatori otsingu roboteid: kõik 7 saiti, mis sulgevad OAI-SearchBoti, sulgevad ka GPTBoti, ja veel 7 sulgevad ainult GPTBoti. Saidid valisin mina, seega pole see veebi valim. Minu väike kataloog ei sulge ühtegi neist robotitest. Saidile, mis tahab AI-vastustesse jõuda, on see minu arvates õige otsus.

AI-robotite piiramine nginxis blokeerimise asemel

Failide hulgas olev nginxi konfiguratsioon jagab user agentid kolme klassi ja annab igaühele oma limiidi roboti nime kohta. Googlebot, Bingbot ja tavalised külastajad ei vasta ühelegi mustrile ja neid ei loeta üldse.

KlassLimiit30 kiiret päringut testis
Treenimine (ClaudeBot, GPTBot, CCBot jt)1 päring sekundis, burst 1011 × 200, 19 × 429
Otsing (OAI-SearchBot, PerplexityBot jt)5 sekundis, burst 2021 × 200, 9 × 429
Kasutaja algatatud (ChatGPT-User, Claude-User jt)5 sekundis, burst 2021 × 200, 9 × 429
Googlebot, Bingbot, Chrome, tühi user agentei loeta30 × 200

Tagasi lükatud päring saab vastuse 429 Too Many Requests päisega Retry-After: 10. Testisin konfiguratsiooni Dockeris nginxi versioonidel 1.30.6 ja 1.29.3. Esimese nädala käitage seda proovirežiimis (dry run): siis nginx ainult logib, mille ta oleks tagasi lükanud.

Piiranguid on kolm. Ükski operaatorite leht, mida lugesin, ei ütle, kuidas nende roomaja 429-le reageerib. Anthropic ja Common Crawl kirjutavad Crawl-delay toest, Amazon ja Apple, et nende robotid seda eiravad, ja Google seda ei toeta. Piiramine töötab user agenti järgi, nii et võltsid kulutavad päris roboti limiiti; piiramise konfiguratsioonis on kirjas, kuidas lugeda hoopis IP järgi. Ja Googlebot on nimekirjast välja jäetud teadlikult: Google'i juhend roomamissageduse vähendamise kohta lubab 429, 500 või 503 ainult üheks-kaheks päevaks ja hoiatab, et kauem nii vastavad aadressid võivad indeksist välja kukkuda.

Serverilogide läviväärtused: millal tegutseda

Number aruandes on põhjus vaadata, mitte otsus. Need on rusikareeglid kolmest tootmissaitide proovi-auditist 2026. aasta oktoobris, mitte Google'i läved. Google ei avalda ühegi neist signaalidest kohta protsenti.

SignaalTegutsege, kuiEsimene samm
Päringud, mis nimetavad end Google'iks ja ei läbi IP kontrolliükskõik kui paljuKõigis Googleboti arvudes kasutage ainult kinnitatud päringuid
5xx kinnitatud Googlebotileüle 1% tema päringutestVealogid nende radade ja kellaaegade kohta
Ümbersuunamised kinnitatud Googlebotileüle 10%Asendage mallides, menüüdes ja sitemap'is lingid lõppaadressidega
Sitemap'i aadressid, mida aknas ei küsitudüle 20%Pikendage akent, seejärel linkige eiratud jaotis
Googleboti päringud lehtedele väljaspool sitemap'iüle 30%Surnud aadressidele 410 või 301, elavad lisage sitemap'i
Üks rada paljude parameetritega aadressidegaüle 1 000 unikaalseOtsustage, millised parameetrid sisu muudavad, ülejäänud sulgege
Ühe roomaja päringute kasulik osaalla 50%Uurige, millest ülejäänu koosneb: ümbersuunamised, vead, parameetrid
404-d kasutaja algatatud AI-päringuteleükskõik kui palju301, sisuplaan või jätta nii
/.env või /.git/ vastusega 200vähemalt üksTäna: sulgege teenusfailid, vahetage kõik failis olnud võtmed

Sellel saidil läks turvakontroll puhtalt: 15 828 päringut .env failidele, .git kaustadele ja WordPressi sisselogimisele 161 IP-aadressilt, ja mitte ükski ei saanud vastuseks 200. Aruannet tasub lugeda samas järjekorras: kõigepealt salajased failid, siis võlts-Googleboti osakaal, siis kõik muu. Kaks valepositiivset tasub teada. Next.js saitidel panevad skannerid Refereri päisesse saidi enda aadressi ja prügi-404-d näevad välja nagu katkised sisemised lingid. Mõni rakendus vastab aga igale tundmatule rajale, ka /.env-ile, tavalise HTML-lehega koodiga 200; enne paanikat võrrelge vastuse suurust avalehega. Täielikus kontrollnimekirjas on 12 signaali, iga läve põhjendus ja viis parandust kontrollida.

Kuidas oma saiti 15 minutiga kontrollida

  1. Võtke juurdepääsulogid. Need on majutuse paneelis või CDN-is. 30 päevast piisab; kui majutaja hoiab neid vaid mõne päeva, kopeerige.
  2. Jagage iga päring klassi: brauserilaadsed, skriptid, SEO-teenused, otsingumootorid, AI-robotid liikide kaupa.
  3. Kontrollige IP järgi Google'it, Bingi, OpenAI-d, Perplexityt, Apple'it ja Anthropicut nende avaldatud vahemike vastu.
  4. Avage roomamisstatistika Search Console'is ja vaadake värskendamise ja avastamise suhet.
  5. Filtreerige ChatGPT-Useri ja teiste assistentide 404-d. See on nimekiri lehtedest, mille kohta inimesed juba küsivad.

Sammud 2 ja 3 teevad teie eest ära artikli järel olevad failid. Logiauditi komplekt on bash ja SQL clickhouse-local-i jaoks: see loeb nginxi või Apache'i combined vormingus logisid teie arvutis, võrdleb roboteid 13 ametliku nimekirjaga ja kirjutab 19 jaotisega tekstiaruande. Sünteetilisel näitel kulub tühjast kaustast aruandeni umbes 4 sekundit; ClickHouse ise on umbes 1,3 GB allalaadimine ja Windowsis töötab see WSL-is. Midagi ei laadita kuhugi üles. Kui eelistate, et seda teeks AI-agent, juhib prompt Claude Code'i või Codexi läbi kaheksa sammu ainult lugemise režiimis: kuus küsimust teile, paigaldus, käivitus logide koopial, leidude tabel ja muudatuste nimekiri, mida agent ise ei rakenda. Teile näidatakse ainult koondnäitajaid. Ärge kunagi kleepige logide toorridu vestlusse: neis on teie külastajate IP-aadressid. IP-vahemike nimekirjas on kõik 18 ametlikku faili ja väike skript ühe aadressi kontrollimiseks ning 27 saidi andmestikus on skript, et mõõtmist oma nimekirjal korrata.

Kellele see meetod ei sobi

  • Saitidele ilma juurdepääsulogita. Vercel, Cloudflare Workers ja sarnased platvormid selliseid logisid ei kirjuta.
  • Saitidele, kus CDN annab HTML-i vahemälust. Vahemällu sattunud robotid logisse ei jõua ja server näeb pildist vaid osa. Kasutage CDN-i enda logisid.
  • Neile, kes vajavad reaalajas teavitusi. See on aruanne logide akna kohta, mitte seire.
  • Muus vormingus logidele. JSON-logid ja CDN-i ekspordid vajavad esmalt oma parsimismustrit.

Mida ma pärast seda auditit muudan

Kolm asja. Aitan Google'il jõuda teenusepakkujate lehtedeni, mida ta pole kordagi küsinud, linkidega lehtedelt, mida ta juba külastab. Teen lehed, mida ChatGPT küsib, seal kus teema kataloogi sobib. Ja kontrollin roboteid IP järgi, enne kui usun ühtegi robotiliikluse graafikut. Kümne päeva pärast käivitan sama auditi uuesti ja võrdlen samu jaotisi.

Nende numbrite piirid: üks noor sait, üks kuu, Meta ja Amazon loetud ainult user agenti järgi, ülekoormuse näide ühelt kliendisaidilt. Sama Googleboti mustrit, peamiselt värskendamine ja vähe avastamist, olen näinud mitmes keeles saitidel, nii et see pole ühe projekti eripära. Teie logi räägib aga teie lugu ja selle lugemine on palju odavam kui arvamine.

Test

Kontrollige ennast

Mõned küsimused artikli kohta. Vastus ja selgitus ilmuvad kohe pärast valikut, vastuseid ei saadeta kuhugi.

0/4

vastatud

  1. 1.Logis on 2 278 päringut user agentiga Googlebot. Mida on vaja teha, enne kui loete need Google'i roomamiseks?
  2. 2.Te ei taha, et teie saidil mudeleid treenitaks, kuid soovite, et ChatGPT viitaks teile otsinguvastustes. Mis läheb robots.txt-i?
  3. 3.ChatGPT-User küsis kaheksat aadressi, mis annavad 404. Mis on õige samm?
  4. 4.2 400 lehega saidil ei küsinud Googlebot 30 päevaga 74% sitemap'i aadressidest. Mida see kõige tõenäolisemalt tähendab?

ADLAB · failid videost

Materjalid videost

Videos näidatud skriptid, viibad, mallid ja andmed. Failid on inglise keeles: tekstifailid avanevad tavalise tekstina, zip-arhiivis on ühe materjali kõik failid.

  1. 01Skript · SQL12 faili · 484 KB · MIT

    Serverilogide auditi komplekt: päris Googlebot võltsitutest lahku ClickHouse'iga

    Skriptid ja SQL: nginxi või Apache logide audit clickhouse-localiga, iga roboti IP kontroll ametlike vahemike järgi ja 19-jaotiseline aruanne.

    Sisu · 12 faili
    • README.md

      Nõuded, paigaldus, 15-minutiline käivitus, logi vorming, kuidas aruannet lugeda, piirangud

      8.3 KB
    • run.sh

      Käivitab kogu auditi: logid, IP-vahemikud, klassifitseerimine, sitemap, aruanne

      8.8 KB
    • install.sh

      Paigaldab ClickHouse'i binaarfaili ClickHouse'i enda paigaldajaga; --dry-run kontrollib enne

      5.6 KB
    • build_combined.sql

      Parsib nginxi/Apache combined-vormingus logid faili logs.parquet

      1.6 KB
    • enrich.sql

      Lisab roboti nime, liiklusklassi, kinnituse lipu (IP ametlikes vahemikes) ja tunnuse „leht või ressurss“

      7.0 KB
    • report.sql

      Tekstiaruande 19 jaotist

      12 KB
    • ranges.sh

      Laadib alla roomajate ametlikud IP-vahemikud (Google, Bing, Apple, OpenAI, Perplexity, Anthropic)

      4.9 KB
    • sitemap.sh

      Kogub kõik sitemapi URL-id (valikuline samm)

      2.6 KB
    • sample/make_sample_log.py

      Sünteetilise näidislogi generaator

      13 KB
    • sample/access.sample.log

      Sünteetiline logi 1 954 reaga example.com jaoks, päris ja võltsitud robotitega

      415 KB
    • sample/sitemap.sample.txt

      Näidislogi juurde kuuluvad 108 sitemapi URL-i

      3.7 KB
    • LICENSE

      MIT litsents, ADLAB OÜ, 2026

      1.0 KB
  2. 02Andmestik4 faili · 22 KB · CC-BY-4.0

    Kuidas 27 suurt saiti AI-roomajaid robots.txt-is kohtlevad (andmed, 2026-11-08)

    27 suurt saiti, kontrollitud 2026-11-08: kes sulgeb robots.txt-is ClaudeBoti, GPTBoti, CCBoti või PerplexityBoti täielikult. CSV, skript ja metoodika, CC BY 4.0.

    Sisu · 4 faili
    • ai-bots-robots-27-sites.csv

      Üks rida saidi kohta: 11 AI-roomaja tokenit, true, kui robots.txt sulgeb roboti reaga Disallow: /

      4.7 KB
    • scan_robots.py

      Python 3.8+, ainult standardteek; kordab mõõtmist mis tahes domeeniloendi jaoks

      13 KB
    • sites.txt

      28 domeeni, mida päriti

      499 B
    • README.md

      Definitsioon, CSV veerud, kuidas mõõtmist korrata, piirangud

      3.6 KB
  3. 03Andmestik · Skript2 faili · 6.5 KB · MIT

    Roomajate ametlikud IP-vahemikud: 18 loendit ja IP-kontrollija

    Kus otsingu- ja AI-roomajad oma IP-vahemikke avaldavad: 18 JSON-loendit kirjete arvu ja kuupäevadega, Amazoni kolm lehte ja skript IP-aadressi kontrollimiseks.

    Sisu · 2 faili
    • crawler-ip-ranges.csv

      21 rida: operaator, robotid, klass, loendi aadress, vorming, kirjete arv, loendi enda kuupäev, kontrolli kuupäev, operaatori leht

      3.9 KB
    • check_ip.py

      Pythoni skript: ütleb, millise operaatori ametlikus loendis IP-aadress on

      2.6 KB
  4. 04Viip2 faili · 8.9 KB · MIT

    Prompt: laske AI-agendil ClickHouse paigaldada ja teie serverilogid auditeerida

    Prompt Claude Code'ile või Codexile: paigaldab clickhouse-locali, auditeerib juurdepääsulogid teie enda arvutis ja pakub parandusi, neid rakendamata.

    Sisu · 2 faili
    • prompt.md

      Prompt, valmis kleepimiseks terminaliga agenti

      7.2 KB
    • README.md

      Kuidas kasutada ja mida kontrollida, enne kui tulemust usaldate

      1.7 KB
  5. 05Mall · Seadistus2 faili · 16 KB · MIT

    robots.txt AI-robotitele: keelake treenimine, jätke otsing alles

    Valmis robots.txt variandid AI-roomajatele: treenimisest loobumine, kõige sulgemine või üksikute jaotiste sulgemine. Viitetabel 30 robotiga koos allikatega.

    Sisu · 2 faili
    • robots-ai-bots.txt

      Kommentaaridega robots.txt mall nelja valmis variandiga: kõik avatud, treenimine keelatud, kõik keelatud, jaotised keelatud

      6.6 KB
    • ai-bots-reference.csv

      30 robotit: operaator, klass, käitumine robots.txt-i suhtes ja IP-vahemike loend operaatori enda lehe järgi

      9.5 KB
  6. 06Kontrollnimekiri1 fail · 11 KB · MIT

    Serverilogide audit: mida iga number tähendab ja millal tegutseda

    Kontrollnimekiri serverilogide auditi lugemiseks: 12 signaali, igaühe lävi ja põhjus ning järgmine samm. Rusikareeglid meie auditeist.

  7. 07Seadistus3 faili · 14 KB · MIT

    Piirake AI-roomajate kiirust nginxis, selle asemel et neid blokeerida

    Testitud nginxi konfiguratsioon: 429 koos Retry-Afteriga, kui ClaudeBot, GPTBot või CCBot ületavad 1 päringu sekundis. Googlebotti ja Bingbotti ei loeta kunagi.

    Sisu · 3 faili
    • nginx-ai-bots-throttle.conf

      http-taseme include: User-Agenti kaardid, piirangutsoonid, 429 koos Retry-Afteriga, tagasilükkamiste logi

      6.1 KB
    • README.md

      Paigaldus, proovikäivitus, tagasivõtmine ja kuidas numbreid muuta

      1.9 KB
    • test-throttle.sh

      Funktsionaalne test ühekordses Dockeri konteineris; vaja on bashi, dockerit ja curli

      6.0 KB

Korduma kippuvad küsimused

Kuidas eristada päris Googlebotit võltsist?
Kontrollige IP-aadressi, mitte user agenti. Google avaldab oma roomajate vahemikud JSON-failidena ja kirjeldab lisaks pöörd- ja otsese DNS-päringu kontrolli. Päring, mille user agent on Googlebot, kuid mis tuleb väljastpoolt neid vahemikke, ei ole Google'ilt. Minu saidi 30 päeva logis tuli 531 päringut 2 278-st, mis nimetasid end Google'iks, 21 sellisest aadressist.
Kas AI-robotid käivad saitidel tõesti sagedamini kui Googlebot?
Saidil, mida ma mõõtsin, jah: kinnitatud OpenAI ja Perplexity robotid tegid 30 päevaga 7 356 päringut, kinnitatud Google'i robotid 1 747. See on üks noor umbes 2 400 lehega sait, seega hetkeseis, mitte reegel. Suurel tugeva lingiprofiiliga saidil võib Googlebot vabalt ülekaalus olla. Oma saidi kohta saate teada ainult kinnitatud päringute põhjal enda juurdepääsulogides.
Kas GPTBot ja ClaudeBot tuleks robots.txt-is sulgeda?
Kui olete vastu sellele, et teie sisul mudeleid treenitakse, on nende treenimisrobotite sulgemine mõistlik, ja operaatorite endi lehtede järgi te nende otsinguvastustest selle tõttu ei kao. OAI-SearchBot, Claude-SearchBot ja PerplexityBot jätke lubatuks, kui soovite, et teid tsiteeritaks. OpenAI kirjutab otse, et OAI-SearchBoti eest suletud saite ChatGPT otsinguvastustes ei näidata.
Kas ChatGPT-User järgib robots.txt-i?
Mitte tingimata. OpenAI kirjutab, et robots.txt-i reeglid ei pruugi kehtida päringutele, mille algatas kasutaja: lehte küsis inimene. Minu logis küsis ChatGPT-User 30 päeva jooksul 221 korda rada, mis on robots.txt-is suletud. Kui jaotis peab olema suletud ka selliste päringute eest, on vaja serveri või tulemüüri reeglit, mitte robots.txt-i.
Mitme päeva logisid on SEO analüüsiks vaja?
Mõne tuhande aadressiga saidil on töötav aken 30 päeva. Viie kuni seitsme päeva puhul tähendab suur pärimata sitemap'i aadresside osakaal enamasti seda, et Googlebot pole nendeni lihtsalt veel jõudnud. Paljud majutajad hoiavad logisid vaid mõne päeva, nii et pikema akna jaoks tasub need kord nädalas kopeerida.
Vladislav Krivorutško — ADLABi asutaja

Artikli autor

Vladislav Krivorutško

ADLAB OÜ asutaja · SEO ja Google Ads

Üle 20 aasta otsiliikluse ja monetiseerimisega, Eesti turul alates 2017. aastast. Töötan üksi: teen auditi, koostan strateegia ja viin projekti ise lõpuni — ilma alltöövõtjate ja šabloonideta. Kirjutan ainult sellest, mida olen oma ja klientide saitidel järele proovinud.

  • 20+ aastat otsiliikluses
  • 50+ projekti võtmed kätte
  • Oma saidid konkurentsitihedates nišides
  • SEO ru/et/en ühes otsingutulemuses
Loe minust lähemalt

Järeldused

Serverilogi on ainus koht, kus näete, mida robotid päriselt küsivad ja mida server neile vastab. Minu saidil tegid AI-robotid mitu korda rohkem päringuid kui Google, veerand „Google'i“ liiklusest oli võlts ja ChatGPT küsis lehti, mida mul veel pole. Ei roomaja ega Search Console seda ei näita. Alustage IP kontrollist ja otsustage siis, millise robotiklassi sulgete, aeglustate või sisse lasete. Kui logis paistavad Googleboti 5xx-vead, parameetrilõksud või robotitest tulev serverikoormus, on see juba tehnilise SEO auditi töö.

Loe edasi