Lühike vastus
Et leht Googlest eemale jääks, pange sellele noindex ja jätke leht roomamiseks avatuks. Tavalehel on selleks metasilt, PDF-i ja pildi puhul päis X-Robots-Tag. robots.txt-i rida Disallow on teine tööriist: see keelab Googlel lehe avada ja Google kirjutab, et blokeeritud leht võib tulemustes siiski ilmuda, näiteks kui teised lehed sellele viitavad.
Kõige halvem on panna ühele lehele mõlemad. 16. novembril 2026 kontrollisin, mida 100 suurt USA saiti teevad oma otsingu-, ostukorvi-, sisselogimis- ja kontolehtedega. Ühe neist lehtedest näitasid mulle 42 saiti. Neist 42-st 23 toetuvad robots.txt-ile ja 8-l nendest 23-st on lehel lisaks noindex, mida Google ei loe, sest ta lehte ei ava. Allpool: mida kumbki tööriist teeb, numbrid, minutiga kontroll ja vead, mida näen kõige sagedamini.
Kolm tööriista, mis kõlavad sarnaselt
| Tööriist | Mida see Googlele ütleb | Kas leht võib tulemustes siiski ilmuda | Milleks |
|---|---|---|---|
Disallow robots.txt-is | Ära ava seda aadressi | Jah, näiteks kui teised lehed sellele viitavad | Roomamise kokkuhoid lõpututel aadressidel |
noindex (metasilt või päis) | Ava, loe, ära näita | Ei: pärast reegli lugemist eemaldab Google lehe täielikult | Lehed, mida inimesed tohivad avada, aga Google ei tohi näidata |
| Sisselogimine või parool | Ilma andmeteta ei lase sisse | Google ei saa lugeda seda, mida ta avada ei saa | Kõik privaatne |
Google'i robots.txt tutvustuses on öeldud, et fail ei ole mehhanism lehe Googlest eemal hoidmiseks, ja nimetatud kaks väljapääsu: noindex või parool. Erinevus ühes reas: robots.txt on silt ukse peal, noindex on märge toa sees. Kes siltu kuulab, märget ei loe.
Mida teevad 100 suurt USA saiti
Meetod, et saaksite seda korrata. Saidid on samad 100 suurt USA saiti 8 rühmas, mida kasutasin oma schema märgenduse mõõtmises. 16. novembril 2026 küsis skript iga saidi robots.txt-i ja neli teenindusaadressi: saidisisene otsing (/search?q=test), /cart, /login ja /account. See oli tavaline GET Chrome'i kasutajaagendiga, ilma JavaScriptita. Iga aadressi kohta on kirja pandud kolm asja: HTTP-staatus, kas lõpp-aadress on Googlebotile robots.txt-is blokeeritud ja kas päises X-Robots-Tag või robots-metasildis on noindex.
Esimene leid on juurdepääsust, mitte indekseerimisest: 58 saiti 100-st ei näidanud mulle ühtegi teeninduslehte. 400 päringust 139 lõppesid vastusega 404, 94 vastusega 403, 16 vastusega 202, 13 vastusega 429 ja 20 ei saanud vastust. Suured saidid sulgevad end skriptide eest. Kõik allolev puudutab 42 saiti, mis vastasid päris lehega.
- 11 saiti teevad dokumentatsiooni järgi: leht on roomamiseks avatud ja kannab
noindexit. Healthline'i, WebMD, Investopedia ja NPR-i otsingulehtedel leidsin täpselt selle. - 8 saiti ei tee midagi: leht on avatud ja
noindexitpole. - 15 saiti toetuvad ainult robots.txt-ile. Reddit blokeerib otsingu, ostukorvi, sisselogimise ja konto kõigile robotitele, ja ühelgi neljast lehest ei leidnud ma
noindexit. Target blokeerib ostukorvi, CNN, Fox News, Wired, BBC ja GitHub blokeerivad otsingu. - 8 saiti teevad mõlemat: blokeerivad lehe robots.txt-is ja panevad sellele
noindexi. Sephora, NBC News, Delish, Medium, Pinterest, CBS News, CNBC ja The Verge, kõik otsingulehel.
Liitke kaks viimast rühma: 23 saiti 42-st (55%) hoiavad teeninduslehti robots.txt-i reegli taga. Kui vaadata ainult otsingulehti, on pilt teravam: 21 loetavast 32 otsingulehest on robots.txt-is blokeeritud ja kõik 11 avatud lehte kannavad noindexit.
Parandus minu enda loendusele. Esimest korda lugesin samal päeval robots.txt-i Pythoni standardparseriga ja sain 14 saiti 42-st. See parser ei saa aru reeglites olevatest * ja $ märkidest, kaotab grupi, kui pärast User-agent-rida tuleb tühi rida, ega ühenda ühe roboti mitut gruppi. Lugesin ümber Google'i reeglite järgi (võidab pikim reegel, grupid liidetakse, metamärgid töötavad) samal päeval uuesti loetud robots.txt-i failidega. Ümberloendus liigutas 9 saiti ja andis ülaltoodud numbrid. Mõlemad otsused on andmestikus.
Kaks reservatsiooni. Otsingulehe blokeerimine robots.txt-is võib olla teadlik otsus: otsingulehti on lõputult ja reegel hoiab roomamist kokku. Ma ei ütle, et need meeskonnad on hooletud; ütlen, et reegel ei luba lehte tulemustest eemal hoida. Ja ma ei kontrollinud, kas nimetatud lehed on Google'i indeksis: see on seadete mõõtmine.
Konflikt: robots.txt pluss noindex
Võtame Medium'i. 16. novembril 2026 blokeeris selle robots.txt kõigile robotitele päringuga otsingu ja otsingulehel endal oli noindex-silt:
$ curl -s https://medium.com/robots.txt | grep -i search
Disallow: /search?q$
Disallow: /search?q=
Disallow: /*/search?q=
Disallow: /*/search/*?q=
$ curl -s "https://medium.com/search?q=test" | grep -o '<meta name="robots"[^>]*>'
<meta name="robots" content="noindex"/>
- novembril 2026 nägi minu skript seda silti, sest see ei allu robots.txt-ile. Google allub: enne lehe avamist kontrollib ta faili, leiab ülaltoodud Disallow-reegli ja peatub.
Google'i lehe indekseerimise aruande spikris on see öeldud otse: robots.txt-i reegel takistab Googlel noindexit nägemast. Teine lukk ripub uksel, mida keegi ei ava, ja tulemus on sama, mis ilma noindexita. Kui aadressile viitavad teised lehed, võib see tulemustes ilmuda ja Search Console näitab seda staatusega Indexed, though blocked by robots.txt; Google soovitab sel juhul blokk eemaldada ja kasutada noindexit.
Otsingulehe puhul läheb see odavalt: kõik 8 leitud konflikti on otsingulehtedel ja tulemustes pole neist niikuinii kasu. Sama muster olulisel lehel, näiteks vanal kampaanialehel, mustandil või tänulehel, jätab selle sama nähtavaks kui varem, ja see, kes sildi pani, usub, et leht on peidetud.
Mida valida
| Teie eesmärk | Mida kasutada | Mida mitte kasutada |
|---|---|---|
| Leht, mida inimesed tohivad avada, aga Google ei tohi näidata | Metasilt noindex, leht roomamiseks avatud | Rida Disallow |
| PDF, pilt või video | Päis X-Robots-Tag: noindex failil | Metasilt (pole HTML-i, kuhu seda panna) |
| Privaatne leht: konto, mustand, testkeskkond | Sisselogimine või parool | Ainult noindex või ainult robots.txt |
| Leht on lõplikult kustutatud | Vastus 404 või 410 | Lehte vastusega 200 ja tekstiga „ei leitud“ või ümbersuunamist avalehele |
| Lekkis ja tuleb täna eemaldada | Eemaldamise tööriist Search Console'is, seejärel üks ülaltoodud viisidest | Ainult tööriist |
| Hoida kokku roomamist lõpututel aadressidel | Reegel Disallow | Lootust, et see lehed peidab |
| Juba indeksis, peab lahkuma | Jätta avatuks, panna noindex, oodata uuesti roomamist, blokeerida hiljem, kui soovite | Blokeerida esimesena |
Viimane rida on minu töö järjekord, mitte Google'i retsept: blokeeritud lehte ei saa uuesti roomata, seega silti ei loeta kunagi. Ülejäänu järgib Google'i dokumentatsiooni ja artikli all olevas spikris on sama tabel tsitaatide ning Apache'i ja nginxi lõikudega PDF-ide jaoks.
Eemaldamise tööriista kohta on Google otsekohene: edukas taotlus kestab vaid umbes pool aastat. Püsiva tulemuse jaoks vajab leht vastust 404 või 410, parooli või noindex-silti. Kustutatud lehtede kohta selgitab minu artikkel 404, 410 või ümbersuunamine, millise vastuse anda ja miks ümbersuunamine avalehele loetakse pehmeks 404-ks.
Ühe lehe kontroll minutiga
- Päis.
curl -s -D - -o /dev/null https://teie-sait/lehtja otsigex-robots-tag. See on GET-päring ja see on oluline: mõned serverid vastavad HEAD-päringule (curl -I) teisiti kui GET-ile. - Metasilt. Avage lehe lähtekood ja otsige
noindexvõi käivitagecurl -s https://teie-sait/leht | grep -io '<meta name="robots"[^>]*>'. Loevad ainult sildid nimegarobotsjagooglebot. - robots.txt. Avage
https://teie-sait/robots.txtja otsige reeglit, mis lehele kehtib.*ja$töötavad ning võidab pikim sobiv reegel. - Leidsite mõlemad? See on konflikt. Eemaldage reegel robots.txt-ist, silt jätke alles.
- Google'i enda vaade. Search Console'is näitab URL-i kontroll küsimust „Indexing allowed?“ ja nimetab noindexi, kui asi on selles.
Kui lehti on rohkem kui käputäis, kasutan skripti: indekseerimise kontroll võtab aadresside nimekirja ja annab iga aadressi kohta ühe otsuse, ülaltoodud kombinatsiooni puhul conflict. robots.txt-i tõlgendab see Google'i reeglite, mitte Pythoni standardparseri järgi.
Vead, mida näen kõige sagedamini
- noindex kaitsena. Noindex-leht on tulemustest peidetud, mitte inimeste eest: lingiga avab selle igaüks, ja Google ise nimetab noindexit vähem turvaliseks viisiks kui parool või vastus 404. Testkeskkonna koht on parooli taga; kuidas, kirjeldasin artiklis testkeskkond ilma Disallow: /.
- canonical noindexi asemel. Canonical-silt vihjab, millise koopia alles jätta, mitte ei palu lehte eemaldada. Kuidas Google seda kohtleb, on canonical-artiklis.
- Elus leht tekstiga „ei leitud“ vastuse 404 asemel. Kustutatud leht, mis vastab 200, on pehme 404: tekst ütleb, et lehte pole, server kinnitab, et kõik on korras. Andke 404 või 410.
- WordPressi seade jäetud sisse. Märkeruut, mis palub otsingumootoritel saiti mitte indekseerida, on mõeldud arenduse ajaks; pärast käivitamist sisse jäetuna palub see otsingumootoritel kogu sait vahele jätta. Pärast käivitamist avage elava saidi lehe lähtekood ja
/robots.txtning otsigenoindexitjaDisallow: /. - Noindex-lehed saidikaardil. Saidikaart ütleb „indekseeri need“, noindex-leht ütleb vastupidist. Võtke need välja; reeglid on artiklis sitemap.xml ja robots.txt.
Millal robots.txt on siiski õige tööriist
Kui eesmärk on säästa serveri koormust lõputute aadresside pealt, näiteks filtrikombinatsioonide või saidisisese otsingu tulemuste pealt, teeb robots.txt just seda. Minu mõõtmises kasutavad seda nii 23 saiti 42-st ja kõigil pole see viga. Siis leppige sellega, et aadress võib tulemustes siiski ilmuda, ja otsustage, kas see on oluline. Otsingulehtede puhul on see otsus lahti võetud artiklis saidisisene otsing, ja millal kokkuhoid üldse loeb, selgitab roomamiseelarve: paarituhandelehelisel saidil tavaliselt ei loe.
Kellele see ei sobi: kui teie saidil pole ühtegi 4 kontrollitud teeninduslehest (otsing, ostukorv, sisselogimine, konto) või need otsingusse ei satu, pole siin midagi parandada. Ja kui lehel on juba sisselogimine, on noindex sellel kahjutu, kuid üleliigne.
Minu numbrite piirid:
- Ainult 42 saiti, mis vastasid. Suured saidid sulgevad end skriptide eest, seega 42 on saidid, mis annavad tundmatule kliendile HTML-i. Osakaalud ei võrdu suurte saitide osakaaluga üldiselt.
- Toores HTML.
noindexit, mille skript lisab pärast laadimist, ma ei näinud, seega onnoindexiosakaal alampiir. - Chrome, mitte Googlebot. Sait võib anda Googlebotile teise robots.txt-i või teise lehe. Ühtegi lehte ma Google'i indeksi ega Search Console'iga ei võrrelnud.
- Üks päev. 16. november 2026, robots.txt loetud samal päeval uuesti. Saidid muudavad neid faile.
Kui soovite, et teie saidi robots.txt, noindex ja roomamise seaded vaadataks üle koos, teen seda tehnilise SEO auditi raames.
