Lühike vastus
Kui robots.txt annab 404, loeb Google, et faili pole ja keelde pole. Kõik teie Disallow-reeglid lakkavad kohe töötamast. Kui ta annab 5xx, peatab Google saidi skaneerimise 12 tunniks, seejärel elab kuni 30 päeva faili viimase eduka koopia peal. Ümbersuunamise Googlebot läbib, vähemalt viis hüpet järjest, ning loeb siis tulemuse vastuseks 404.
Siit tuleb mitteilmne järeldus. Ohtlik pole niivõrd faili kättesaamatus kui reeglite vaikne kadumine: 404 võtab need ära kohe, pikaajaline viga 30 päeva pärast. Sait töötab sealjuures edasi ja keegi ei märka midagi.
Mida Google igale vastusele teeb
Allolevad reeglid on võetud Google'i dokumentatsioonist selle kohta, kuidas ta robots.txt-i tõlgendab. Avasin selle 9. novembril 2026 ja kontrollisin tabeli kõik punktid üle. Mida ma ise mõõtsin, on märgitud järgmises lõigus.
| Vastus aadressile /robots.txt | Mida Google teeb | Mida see saidile tähendab |
|---|---|---|
| 2xx | Töötleb faili sellisena, nagu see on, hoiab vahemälus, tavaliselt kuni 24 tundi | Töötab nii, nagu kavandatud |
| 3xx | Läbib vähemalt viis hüpet, siis loeb tulemuse vastuseks 404 | Üks hüpe (http-lt https-le) on ohutu; pikk ahel võrdub faili puudumisega |
| 4xx, välja arvatud 429 | Loeb, et kehtivat faili pole | Kõik Disallow-reeglid lakkavad kehtimast |
| 5xx, esimesed 12 tundi | Peatab saidi skaneerimise ja kordab faili päringut | Uusi lehti selle aja jooksul ei käida läbi |
| 5xx, kuni 30 päeva | Kasutab viimast edukat koopiat ja üritab edasi uut hankida | Reeglid püsivad, kui koopia oli olemas |
| 5xx üle 30 päeva | Üldiselt kättesaadava saidi puhul loeb, et faili pole | Reeglid kaovad |
429 kohta dokumentatsioonilehel midagi ei öelda, see on vaid 4xx reeglist välja jäetud. Mida Google täpselt temaga teeb, seal ei täpsustata, seepärast loen ma selle serveriveaks töötava eeldusena, mitte faktina.
Veel kolm piirangut. Üle 500 KiB faili Google tervikuna ei loe: kõik pärast seda piiri jäetakse tähelepanuta. Vahemälu elab tavaliselt kuni 24 tundi ja võib kesta kauem, kui faili ei õnnestu uuendada. Ning reeglid kehtivad ainult selle hosti, protokolli ja pordi kohta, kus fail asub: aadressidel https://adlab.ee ja https://www.adlab.ee on kaks eri faili.
Kuidas see näeb välja adlab.ee-l: mõõtmine 9. novembril 2026
Jooksutasin curl -I kuue aadressivariandi peal. Fail https://adlab.ee/robots.txt annab 200 tüübiga text/plain, kaalub 77 baiti ja sisaldab kolme sisulist rida: Allow: /, Disallow: /dl/ ja viidet sitemap'ile. Päis Cache-Control: public, max-age=14400 lubab Cloudflare'il ja brauseritel hoida koopiat 4 tundi.
Neli ülejäänud viiest aadressist (mõlemad http-ga, https://www ja kaldkriipsuga lõppev aadress) annavad 308 ja suunavad ühe hüppega aadressile https://adlab.ee/robots.txt. Google'i viie hüppe piirini jääb neli hüpet varu. Viies, /Robots.txt suure R-iga, annab 404, nii et faili nimes tuleb hoida väiketähti.
Mida ma ei mõõtnud: 5xx ja 429. Töötaval saidil robots.txt-i katsetamiseks maha võtta ma ei hakka, seepärast tabeli read 12 tunni ja 30 päeva kohta toetuvad Google'i dokumentatsioonile, mitte minu tähelepanekutele.
Kust 5xx ja 404 päriselt tulevad
Minu praktikas ei lähe fail katki iseenesest, vaid koos millegi muuga: väljalaske, pluginaga, kolimisega. Viis stsenaariumi ja igaüks lõpeb ühe koodiga: 403, 404, 429 või 5xx:
- Hooldusrežiim 503-ga kogu saidile. Google soovitab 503 lühikeste seisakute puhul ja lehtede jaoks see ka sobib. Kui aga hooldusleht katab ka
/robots.txt, hakkab tööle 12 tunni reegel: roomamine peatub. Faili tasub hooldusvaatest välja jätta. - Robotikaitse ja päringute piirang. CDN või tulemüür vastab 429 või 403 päringutele ilma brauseripäisteta. 403 on Google'ile sama mis 404, st fail on koos kõigi keeldudega «kadunud».
- Virtuaalne fail CMS-is. WordPress annab
robots.txt-i dünaamiliselt, kui füüsilist faili pole. Katkine plugin muudab selle 500-ks, samal ajal kui ülejäänud lehed töötavad vahemälust. - Väljalase testkeskkonnast. Testkeskkonna
Disallow: /jõuab töötavale saidile. Fail annab 200 ja see on kõige kallim juhtum; analüüsisin seda artiklis testkeskkond ja toodang. - Faili ümbersuunamisahel. Domeeni kolimine lisas lüli, siis teise, ja lõppfailini sai üle viie hüppe. Kuidas selliseid ahelaid leida, kirjeldab ülevaade ümbersuunamisahelatest.
Kui lehekülg, mis on Disallow-reegliga suletud, jääb Google'i tulemustesse, mitte ei kao, siis robots.txt piirab ainult roomamist, indekseerimist keelab noindex. Seda vahet kirjeldasin artiklis sitemap.xml ja robots.txt.
Kuidas minutiga kontrollida
Jooksutage korra läbi neli aadressivarianti ja veenduge, et igaühel on üks hüpe ja lõpus 200:
for u in http://site.ee https://site.ee http://www.site.ee https://www.site.ee; do
echo "== $u"; curl -sI -m 15 "$u/robots.txt" | grep -iE "^(HTTP|location|content-type)"
done
Seejärel kontrollige kolme kohta:
- Sisu tüüp. Vaja on
text/plain, mittetext/html. HTML-vahelehe kood 200 varjab probleemi. - robots.txt aruanne Search Console'is. See näitab viimati loetud failiversiooni, roomamise aega ja vigu.
- Skaneerimise statistika. Plokis «Hosti olek» on näha, kas robots.txt hankimisel oli tõrkeid. Tõrgete seeria ühe ööpäeva jooksul vastab roomamise peatumisele.
Ja viimane samm: pange /robots.txt vastusekoodile eraldi seire koos teavitusega. Kontroll iga 5 minuti tagant teeb 288 päringut ööpäevas 77 baidi kohta, samal ajal kui Search Console'i aruanne saab tõrkest teada päevade viivitusega.
Kellele see ei ole
Saidile, millel pole robots.txt-i ega ühtegi Disallow'd (väike visiitkaart, kus pole midagi sulgeda), ei tee 404 sellel aadressil kahju ja parandada pole midagi. Piisab, et fail ei annaks 5xx.
Minu järelduste piirid: tabeli reeglid kirjeldavad Google'it. Yandex ja Bing tõlgendavad vastusekoode omamoodi, nende dokumentatsiooni ma siin ei kontrollinud. Skeem 12 tunni ja 30 päevaga on võetud dokumentatsioonist, mitte minu katsest. Suure kataloogiga saidi puhul, kus roomamiseelarve on piiratud, on roomamise peatumise hind kõrgem kui saja lehega blogil. Ja kui otsite, miks lehed üldse otsingust kadusid, alustage põhjustest, miks Google lehti ei indekseeri: robots.txt on seal vaid üks versioonidest. Kui vajate selliste asjade analüüsi oma projektil, lisan selle tehnilise SEO auditi hulka.
