Arutame projekti

Kuidas hoida lehte Googlest eemal: noindex vs robots.txt

Et leht Googlest eemale jääks, pange avatud lehele noindex. Ainult robots.txt ei varja. Kontrollisin 16. novembril 2026 sada suurt USA saiti.

Vladislav Krivorutško — ADLABi asutaja
Vladislav Krivorutško

16. november 2026 · 12 min lugemist

Video on inglise keeles, kanal ADLAB. Ava YouTube'is

Sisukord
  1. 01Lühike vastus
  2. 02Kolm tööriista, mis kõlavad sarnaselt
  3. 03Mida teevad 100 suurt USA saiti
  4. 04Konflikt: robots.txt pluss noindex
  5. 05Mida valida
  6. 06Ühe lehe kontroll minutiga
  7. 07Vead, mida näen kõige sagedamini
  8. 08Millal robots.txt on siiski õige tööriist
  9. Kontrollige ennast
  10. Materjalid videost

TL;DR — lühidalt peamisest

  1. 1Et tavaline leht Googlest eemale jääks, pange sellele noindex (metasilt, PDF-i ja pildi puhul päis X-Robots-Tag) ja jätke leht roomamiseks avatuks
  2. 2robots.txt keelab Googlel lehe avada, aga mitte aadressi näidata: Google kirjutab, et blokeeritud leht võib tulemustes siiski ilmuda, näiteks kui teised lehed sellele viitavad
  3. 3Leht, mis on robots.txt-is blokeeritud ja kannab ka noindexit, ei tööta: Google ei ava seda ega loe silti
  4. 416. novembril 2026 kontrollisin 100 suurt USA saiti: 42 näitasid tavapärasele päringule teeninduslehte, neist 23 blokeerivad selle robots.txt-is ja 8 nendest 23-st lisavad ka noindexi
  5. 5Privaatne leht: sisselogimine. Kustutatud leht: 404 või 410. Lekkis täna: Search Console'i eemaldamise tööriist ja põhjuse parandamine, sest blokk kestab umbes pool aastat

Lühike vastus

Et leht Googlest eemale jääks, pange sellele noindex ja jätke leht roomamiseks avatuks. Tavalehel on selleks metasilt, PDF-i ja pildi puhul päis X-Robots-Tag. robots.txt-i rida Disallow on teine tööriist: see keelab Googlel lehe avada ja Google kirjutab, et blokeeritud leht võib tulemustes siiski ilmuda, näiteks kui teised lehed sellele viitavad.

Kõige halvem on panna ühele lehele mõlemad. 16. novembril 2026 kontrollisin, mida 100 suurt USA saiti teevad oma otsingu-, ostukorvi-, sisselogimis- ja kontolehtedega. Ühe neist lehtedest näitasid mulle 42 saiti. Neist 42-st 23 toetuvad robots.txt-ile ja 8-l nendest 23-st on lehel lisaks noindex, mida Google ei loe, sest ta lehte ei ava. Allpool: mida kumbki tööriist teeb, numbrid, minutiga kontroll ja vead, mida näen kõige sagedamini.

Kolm tööriista, mis kõlavad sarnaselt

TööriistMida see Googlele ütlebKas leht võib tulemustes siiski ilmudaMilleks
Disallow robots.txt-isÄra ava seda aadressiJah, näiteks kui teised lehed sellele viitavadRoomamise kokkuhoid lõpututel aadressidel
noindex (metasilt või päis)Ava, loe, ära näitaEi: pärast reegli lugemist eemaldab Google lehe täielikultLehed, mida inimesed tohivad avada, aga Google ei tohi näidata
Sisselogimine või paroolIlma andmeteta ei lase sisseGoogle ei saa lugeda seda, mida ta avada ei saaKõik privaatne

Google'i robots.txt tutvustuses on öeldud, et fail ei ole mehhanism lehe Googlest eemal hoidmiseks, ja nimetatud kaks väljapääsu: noindex või parool. Erinevus ühes reas: robots.txt on silt ukse peal, noindex on märge toa sees. Kes siltu kuulab, märget ei loe.

Mida teevad 100 suurt USA saiti

Meetod, et saaksite seda korrata. Saidid on samad 100 suurt USA saiti 8 rühmas, mida kasutasin oma schema märgenduse mõõtmises. 16. novembril 2026 küsis skript iga saidi robots.txt-i ja neli teenindusaadressi: saidisisene otsing (/search?q=test), /cart, /login ja /account. See oli tavaline GET Chrome'i kasutajaagendiga, ilma JavaScriptita. Iga aadressi kohta on kirja pandud kolm asja: HTTP-staatus, kas lõpp-aadress on Googlebotile robots.txt-is blokeeritud ja kas päises X-Robots-Tag või robots-metasildis on noindex.

Esimene leid on juurdepääsust, mitte indekseerimisest: 58 saiti 100-st ei näidanud mulle ühtegi teeninduslehte. 400 päringust 139 lõppesid vastusega 404, 94 vastusega 403, 16 vastusega 202, 13 vastusega 429 ja 20 ei saanud vastust. Suured saidid sulgevad end skriptide eest. Kõik allolev puudutab 42 saiti, mis vastasid päris lehega.

Kuidas 42 suurt saiti hoiavad teeninduslehti Googlest eemalAvatud + noindex (dokumentatsiooni järgi)11 · 26%Avatud, midagi pole seatud8 · 19%Blokeeritud ainult robots.txt-is15 · 36%Blokeeritud + noindex (konflikt)8 · 19%Saidid 42-st, mille teenindusleht oliloetav; roheline on dokumentatsiooni viis
Minu mõõtmine 16. novembril 2026: 100 suurt USA saiti, 4 teenindusaadressi igaühel, tavaline päring ilma JavaScriptita. Sait kuulub raskeima kategooriasse oma loetavate lehtede seas.
  • 11 saiti teevad dokumentatsiooni järgi: leht on roomamiseks avatud ja kannab noindexit. Healthline'i, WebMD, Investopedia ja NPR-i otsingulehtedel leidsin täpselt selle.
  • 8 saiti ei tee midagi: leht on avatud ja noindexit pole.
  • 15 saiti toetuvad ainult robots.txt-ile. Reddit blokeerib otsingu, ostukorvi, sisselogimise ja konto kõigile robotitele, ja ühelgi neljast lehest ei leidnud ma noindexit. Target blokeerib ostukorvi, CNN, Fox News, Wired, BBC ja GitHub blokeerivad otsingu.
  • 8 saiti teevad mõlemat: blokeerivad lehe robots.txt-is ja panevad sellele noindexi. Sephora, NBC News, Delish, Medium, Pinterest, CBS News, CNBC ja The Verge, kõik otsingulehel.

Liitke kaks viimast rühma: 23 saiti 42-st (55%) hoiavad teeninduslehti robots.txt-i reegli taga. Kui vaadata ainult otsingulehti, on pilt teravam: 21 loetavast 32 otsingulehest on robots.txt-is blokeeritud ja kõik 11 avatud lehte kannavad noindexit.

Parandus minu enda loendusele. Esimest korda lugesin samal päeval robots.txt-i Pythoni standardparseriga ja sain 14 saiti 42-st. See parser ei saa aru reeglites olevatest * ja $ märkidest, kaotab grupi, kui pärast User-agent-rida tuleb tühi rida, ega ühenda ühe roboti mitut gruppi. Lugesin ümber Google'i reeglite järgi (võidab pikim reegel, grupid liidetakse, metamärgid töötavad) samal päeval uuesti loetud robots.txt-i failidega. Ümberloendus liigutas 9 saiti ja andis ülaltoodud numbrid. Mõlemad otsused on andmestikus.

Kaks reservatsiooni. Otsingulehe blokeerimine robots.txt-is võib olla teadlik otsus: otsingulehti on lõputult ja reegel hoiab roomamist kokku. Ma ei ütle, et need meeskonnad on hooletud; ütlen, et reegel ei luba lehte tulemustest eemal hoida. Ja ma ei kontrollinud, kas nimetatud lehed on Google'i indeksis: see on seadete mõõtmine.

Konflikt: robots.txt pluss noindex

Võtame Medium'i. 16. novembril 2026 blokeeris selle robots.txt kõigile robotitele päringuga otsingu ja otsingulehel endal oli noindex-silt:

$ curl -s https://medium.com/robots.txt | grep -i search
Disallow: /search?q$
Disallow: /search?q=
Disallow: /*/search?q=
Disallow: /*/search/*?q=

$ curl -s "https://medium.com/search?q=test" | grep -o '<meta name="robots"[^>]*>'
<meta name="robots" content="noindex"/>
  1. novembril 2026 nägi minu skript seda silti, sest see ei allu robots.txt-ile. Google allub: enne lehe avamist kontrollib ta faili, leiab ülaltoodud Disallow-reegli ja peatub.
Miks noindexit blokeeritud lehel ei loetaGooglebot tahab /search?q=testSamm 1: loeb robots.txt-iDisallow: /search?q=Stopp: lehte ei avata<meta name="robots" content="noindex">Silt on olemas. Keegi ei loe seda.
Sündmuste järjekord lehel, mis on robots.txt-is blokeeritud ja kannab noindexit. Google'i dokumentatsiooni järgi ei näe robot robots.txt-iga blokeeritud lehel noindex-reeglit kunagi.

Google'i lehe indekseerimise aruande spikris on see öeldud otse: robots.txt-i reegel takistab Googlel noindexit nägemast. Teine lukk ripub uksel, mida keegi ei ava, ja tulemus on sama, mis ilma noindexita. Kui aadressile viitavad teised lehed, võib see tulemustes ilmuda ja Search Console näitab seda staatusega Indexed, though blocked by robots.txt; Google soovitab sel juhul blokk eemaldada ja kasutada noindexit.

Otsingulehe puhul läheb see odavalt: kõik 8 leitud konflikti on otsingulehtedel ja tulemustes pole neist niikuinii kasu. Sama muster olulisel lehel, näiteks vanal kampaanialehel, mustandil või tänulehel, jätab selle sama nähtavaks kui varem, ja see, kes sildi pani, usub, et leht on peidetud.

Mida valida

Teie eesmärkMida kasutadaMida mitte kasutada
Leht, mida inimesed tohivad avada, aga Google ei tohi näidataMetasilt noindex, leht roomamiseks avatudRida Disallow
PDF, pilt või videoPäis X-Robots-Tag: noindex faililMetasilt (pole HTML-i, kuhu seda panna)
Privaatne leht: konto, mustand, testkeskkondSisselogimine või paroolAinult noindex või ainult robots.txt
Leht on lõplikult kustutatudVastus 404 või 410Lehte vastusega 200 ja tekstiga „ei leitud“ või ümbersuunamist avalehele
Lekkis ja tuleb täna eemaldadaEemaldamise tööriist Search Console'is, seejärel üks ülaltoodud viisidestAinult tööriist
Hoida kokku roomamist lõpututel aadressidelReegel DisallowLootust, et see lehed peidab
Juba indeksis, peab lahkumaJätta avatuks, panna noindex, oodata uuesti roomamist, blokeerida hiljem, kui sooviteBlokeerida esimesena

Viimane rida on minu töö järjekord, mitte Google'i retsept: blokeeritud lehte ei saa uuesti roomata, seega silti ei loeta kunagi. Ülejäänu järgib Google'i dokumentatsiooni ja artikli all olevas spikris on sama tabel tsitaatide ning Apache'i ja nginxi lõikudega PDF-ide jaoks.

Eemaldamise tööriista kohta on Google otsekohene: edukas taotlus kestab vaid umbes pool aastat. Püsiva tulemuse jaoks vajab leht vastust 404 või 410, parooli või noindex-silti. Kustutatud lehtede kohta selgitab minu artikkel 404, 410 või ümbersuunamine, millise vastuse anda ja miks ümbersuunamine avalehele loetakse pehmeks 404-ks.

Ühe lehe kontroll minutiga

  1. Päis. curl -s -D - -o /dev/null https://teie-sait/leht ja otsige x-robots-tag. See on GET-päring ja see on oluline: mõned serverid vastavad HEAD-päringule (curl -I) teisiti kui GET-ile.
  2. Metasilt. Avage lehe lähtekood ja otsige noindex või käivitage curl -s https://teie-sait/leht | grep -io '<meta name="robots"[^>]*>'. Loevad ainult sildid nimega robots ja googlebot.
  3. robots.txt. Avage https://teie-sait/robots.txt ja otsige reeglit, mis lehele kehtib. * ja $ töötavad ning võidab pikim sobiv reegel.
  4. Leidsite mõlemad? See on konflikt. Eemaldage reegel robots.txt-ist, silt jätke alles.
  5. Google'i enda vaade. Search Console'is näitab URL-i kontroll küsimust „Indexing allowed?“ ja nimetab noindexi, kui asi on selles.

Kui lehti on rohkem kui käputäis, kasutan skripti: indekseerimise kontroll võtab aadresside nimekirja ja annab iga aadressi kohta ühe otsuse, ülaltoodud kombinatsiooni puhul conflict. robots.txt-i tõlgendab see Google'i reeglite, mitte Pythoni standardparseri järgi.

Vead, mida näen kõige sagedamini

  • noindex kaitsena. Noindex-leht on tulemustest peidetud, mitte inimeste eest: lingiga avab selle igaüks, ja Google ise nimetab noindexit vähem turvaliseks viisiks kui parool või vastus 404. Testkeskkonna koht on parooli taga; kuidas, kirjeldasin artiklis testkeskkond ilma Disallow: /.
  • canonical noindexi asemel. Canonical-silt vihjab, millise koopia alles jätta, mitte ei palu lehte eemaldada. Kuidas Google seda kohtleb, on canonical-artiklis.
  • Elus leht tekstiga „ei leitud“ vastuse 404 asemel. Kustutatud leht, mis vastab 200, on pehme 404: tekst ütleb, et lehte pole, server kinnitab, et kõik on korras. Andke 404 või 410.
  • WordPressi seade jäetud sisse. Märkeruut, mis palub otsingumootoritel saiti mitte indekseerida, on mõeldud arenduse ajaks; pärast käivitamist sisse jäetuna palub see otsingumootoritel kogu sait vahele jätta. Pärast käivitamist avage elava saidi lehe lähtekood ja /robots.txt ning otsige noindexit ja Disallow: /.
  • Noindex-lehed saidikaardil. Saidikaart ütleb „indekseeri need“, noindex-leht ütleb vastupidist. Võtke need välja; reeglid on artiklis sitemap.xml ja robots.txt.

Millal robots.txt on siiski õige tööriist

Kui eesmärk on säästa serveri koormust lõputute aadresside pealt, näiteks filtrikombinatsioonide või saidisisese otsingu tulemuste pealt, teeb robots.txt just seda. Minu mõõtmises kasutavad seda nii 23 saiti 42-st ja kõigil pole see viga. Siis leppige sellega, et aadress võib tulemustes siiski ilmuda, ja otsustage, kas see on oluline. Otsingulehtede puhul on see otsus lahti võetud artiklis saidisisene otsing, ja millal kokkuhoid üldse loeb, selgitab roomamiseelarve: paarituhandelehelisel saidil tavaliselt ei loe.

Kellele see ei sobi: kui teie saidil pole ühtegi 4 kontrollitud teeninduslehest (otsing, ostukorv, sisselogimine, konto) või need otsingusse ei satu, pole siin midagi parandada. Ja kui lehel on juba sisselogimine, on noindex sellel kahjutu, kuid üleliigne.

Minu numbrite piirid:

  • Ainult 42 saiti, mis vastasid. Suured saidid sulgevad end skriptide eest, seega 42 on saidid, mis annavad tundmatule kliendile HTML-i. Osakaalud ei võrdu suurte saitide osakaaluga üldiselt.
  • Toores HTML. noindexit, mille skript lisab pärast laadimist, ma ei näinud, seega on noindexi osakaal alampiir.
  • Chrome, mitte Googlebot. Sait võib anda Googlebotile teise robots.txt-i või teise lehe. Ühtegi lehte ma Google'i indeksi ega Search Console'iga ei võrrelnud.
  • Üks päev. 16. november 2026, robots.txt loetud samal päeval uuesti. Saidid muudavad neid faile.

Kui soovite, et teie saidi robots.txt, noindex ja roomamise seaded vaadataks üle koos, teen seda tehnilise SEO auditi raames.

Test

Kontrollige ennast

Mõned küsimused artikli kohta. Vastus ja selgitus ilmuvad kohe pärast valikut, vastuseid ei saadeta kuhugi.

0/4

vastatud

  1. 1.Mida teeb robots.txt-i rida Disallow?
  2. 2.Miks noindex ei tööta lehel, mis on robots.txt-is blokeeritud?
  3. 3.Kuidas hoida PDF-i Googlest eemal?
  4. 4.Leht lekkis ja peab täna tulemustest kaduma. Mida teha esimesena?

ADLAB · failid videost

Materjalid videost

Videos näidatud skriptid, viibad, mallid ja andmed. Failid on inglise keeles: tekstifailid avanevad tavalise tekstina, zip-arhiivis on ühe materjali kõik failid.

  1. 01Andmestik6 faili · 64 KB · CC-BY-4.0

    Kuidas 100 suurt USA saiti hoiavad otsingu- ja kontolehti Googlest eemal (andmed, 2026-11-16)

    100 suurest USA saidist näitasid otsingu-, ostukorvi-, sisselogimis- või kontolehte 42: 23 sulgevad selle robots.txt-is, 8 neist lisavad ka noindexi. CSV 400 sondiga, CC BY 4.0, koos skriptidega.

    Sisu · 6 faili
    • big-sites-indexing-2026.csv

      Üks rida sondi kohta: sait, aadress, staatus, lõppnimetee, robots.txt otsus ja reegel, noindex päises ja metas, saidi klass

      34 KB
    • analyze.py

      Python 3.8+, ainult standardteek; taastoodab kõik sellel lehel olevad numbrid, võrguühenduseta enesetestiga

      7.1 KB
    • measure.py

      Kordab mõõtmist teie saidinimekirjal (requests ja beautifulsoup4)

      9.5 KB
    • sites.txt

      100 saiti autori kategooriatega

      1.8 KB
    • requirements.txt

      measure.py kaks paketti

      36 B
    • README.md

      Metoodika, esimese loenduse parandus, veerud, tulemused, piirangud

      11 KB
  2. 02Skript6 faili · 29 KB · MIT

    Indekseerimise kontroll: robots.txt ja noindex URL-ide nimekirjale

    Pythoni skript: URL-ide nimekirja kohta näitab robots.txt otsust Googlebotile, noindexi päises ja meta-sildis ning märgib lehed, mis on robots.txt-is suletud JA noindexiga.

    Sisu · 6 faili
    • README.md

      Käivitamine 3 sammuga, seitse otsust, CSV veerud, kuidas robots.txt'i tõlgendatakse, lõksud, Tested on

      7.4 KB
    • indexing_check.py

      Kontroll ise: Python 3.8+, üks pakett (requests), võrguühenduseta enesetestiga 33 kontrolliga

      17 KB
    • requirements.txt

      requests>=2.31, paigaldatakse virtuaalkeskkonda

      15 B
    • urls.sample.txt

      7 suure saidi avalikku aadressi koos 2026-11-16 otsustega

      785 B
    • urls.demo.txt

      9 kohalikku aadressi iga otsuse jaoks, demoserverile

      783 B
    • demo_server.py

      Pisike kohalik sait: robots.txt, meta noindex, PDF päisega ja 410; internetti pole vaja

      2.4 KB
  3. 03Kontrollnimekiri · Mall2 faili · 10 KB · CC-BY-4.0

    Noindex või robots.txt: spikker, milline tööriist millise eesmärgi jaoks

    Ühe lehe spikker: kaheksa eesmärki ja tööriist igaühele (noindex, X-Robots-Tag, sisselogimine, 404/410, robots.txt), kombinatsioonid, mis üksteist tühistavad, valmislõigud ja allikad.

    Sisu · 2 faili
    • noindex-or-robots-cheat-sheet.md

      Eesmärk → tööriist, mida ei tohi kombineerida, lõigud meta-sildi ja päise jaoks, minutiline kontroll, mida teevad 100 suurt saiti, Google'i allikad

      7.8 KB
    • README.md

      3 sammu ja mida kontrollida, enne kui sellele toetud

      2.3 KB

Korduma kippuvad küsimused

Kuidas lehte Google'i indeksist eemal hoida?
Pange lehele noindex: metasildina HTML-is või päisena X-Robots-Tag, ja jätke leht roomamiseks avatuks, et Google selle läbi loeks. PDF-i ja pildi jaoks kasutage päist, sest failis pole HTML-i, kuhu silti panna. Kui leht peab jääma inimeste eest suletuks, vajate sisselogimist: noindex peidab lehe tulemustest, kuid lingiga avab selle igaüks.
Kas robots.txt-ist piisab, et leht Googlest eemale jääks?
Ei piisa. Google'i robots.txt tutvustuses on öeldud, et see fail ei ole mehhanism, mis hoiab lehe Googlest eemal. Seal blokeeritud leht võib tulemustes siiski ilmuda, näiteks kui teised lehed sellele viitavad. Kasutage noindexit avatud lehel või sisselogimist.
Kas ühel lehel võib olla korraga noindex ja robots.txt-i blokk?
Võib, aga see ei tööta. Google kontrollib robots.txt-i enne lehe avamist, nii et blokeeritud lehel ta noindexit ei näe. Minu 100 suure USA saidi mõõtmises oli täpselt see kombinatsioon otsingulehel 8 saidil nendest 42-st, mis näitasid teeninduslehte. Eemaldage robots.txt-i reegel ja jätke silt alles.
Kui kiiresti noindex hakkab tööle?
Kindlat tähtaega pole. Leht lahkub tulemustest pärast seda, kui Google selle uuesti roomab ja sildi loeb, nii et see sõltub sellest, kui tihti Google just seda lehte külastab. Viimase roomamise kuupäeva näitab Search Console'i URL-i kontroll. Kui midagi tuleb eemaldada täna, kasutage eemaldamise tööriista ja parandage ka põhjus.
Kuidas panna PDF-ile või pildile noindex?
Saatke failiga kaasa päis X-Robots-Tag: noindex. Google'i dokumentatsioonis on Apache'i ja nginxi mustrid, mis hõlmavad kõiki saidi .pdf- või pildifaile, ja minu spikris on need kopeerimiseks valmis. Kontrollige tulemust käsuga curl -I, sest vales plokis lisatud päis kaob vaikselt.
Mida tähendab Search Console'is staatus Indexed, though blocked by robots.txt?
Google leidis aadressi, näiteks linkide kaudu, ja lisas selle indeksisse, kuid ei saanud lehte avada, sest robots.txt blokeerib selle. Google ise soovitab selle staatuse puhul blokk eemaldada ja kasutada noindexit. Sama staatus reedab vea, millest see artikkel räägib.
Vladislav Krivorutško — ADLABi asutaja

Artikli autor

Vladislav Krivorutško

ADLAB OÜ asutaja · SEO ja Google Ads

Üle 20 aasta otsiliikluse ja monetiseerimisega, Eesti turul alates 2017. aastast. Töötan üksi: teen auditi, koostan strateegia ja viin projekti ise lõpuni — ilma alltöövõtjate ja šabloonideta. Kirjutan ainult sellest, mida olen oma ja klientide saitidel järele proovinud.

  • 20+ aastat otsiliikluses
  • 50+ projekti võtmed kätte
  • Oma saidid konkurentsitihedates nišides
  • SEO ru/et/en ühes otsingutulemuses
Loe minust lähemalt

Järeldused

Leht lahkub Googlest siis, kui Google saab selle avada, noindexi lugeda ja lehe eemaldada. Iga kõrvalrada, olgu see Disallow-rida, canonical-silt või tühi leht ümbersuunamise taga, muudab seda, mida Google roomab, aga mitte seda, mida ta näitab. 42 suurest saidist, mille teeninduslehe suutsin lugeda, tegid dokumentatsiooni järgi õigesti ainult 11, ja 8 sulgesid lehe robots.txt-is ning panid sellele sildi, mida Google ei loe. Kontrollige oma lehte täna artikli kolme käsuga. Kui teie saidi numbrid sarnanevad minu omadega, vaatan robots.txt-i, noindexi ja roomamise seaded üle tehnilise SEO auditi raames.

Loe edasi