Lühike vastus
Roomamiseelarve on see, kui palju sinu saidi URL-e Googlebot teatud aja jooksul läbi käia jõuab. Probleemiks muutub see harva: kuni paari tuhande aadressiga saidil on indekseerimata lehtede põhjus peaaegu alati muu — nõrk sisu, duplikaadid või siselinkide puudumine. Eelarvele tasub mõelda siis, kui sait tekitab kümneid tuhandeid URL-e: filtritega kataloog, broneerimiskalender, saidisisene otsing, sortimisparameetrid.
Millest roomamiseelarve koosneb
Google Search Central kirjeldab seda kahe piirangu koosmõjuna.
| Osa | Mis see on | Kes seda mõjutab |
|---|---|---|
| Roomamissageduse piir | Kui palju päringuid sait ilma aeglustumata kannatab | Sina — serveri vastusaja ja 5xx-vigade kaudu |
| Roomamisnõudlus | Kui väga Google neid URL-e läbi käia tahab | Google — lehtede populaarsuse, uuenemissageduse ja andmete vananemise järgi |
Sellest järeldub peamine, ja Google Search Central kirjutab sedasama otsesõnu: eelarvet ei saa otse suurendada. Saab teha nii, et sait vastab kiiremini ja et Googlebot kulutab päringud kasulikele aadressidele prügi asemel. Kõik muu on folkloor.
Millal eelarve pole üldse süüdi
Minu poole pöördutakse regulaarselt sõnastusega «Google ei indekseeri saiti, ilmselt ei jätku roomamiseelarvet». Enamasti on sait sadakond lehte ja eelarvel pole sellega mingit pistmist.
Märgid, et põhjus on mujal:
- roomamisstatistikast on näha, et Googlebot käib saidil regulaarselt, aga lehed püsivad olekus «roomatud, kuid pole indekseeritud» — see on sisu väärtuse, mitte sageduse küsimus;
- indekseerimata lehtedele ei vii ühtegi siselinki — siis on tegu orblehtedega ja robotil pole neid kusagilt leida;
- indeksisse ei jõua peaaegu ühesugused tootekaardid — siis tuleb tegeleda duplikaatsisuga, mitte eelarvega.
Põhjuste täieliku loetelu koondasin eraldi artiklisse selle kohta, miks Google lehti ei indekseeri. Roomamiseelarve on seal nimekirja viimane punkt ja see on õige kontrollimise järjekord.
Mis eelarvet päriselt sööb
Peaaegu alati pole süüdi sisu, vaid aadressid, mida sait ise tekitab.
- Fassettnavigatsioon. Omavahel kombineeruvad filtrid annavad kombinatoorse plahvatuse: kolm filtrit kümne väärtusega on juba tuhat aadressi ühe kategooria kohta.
- Sortimine ja parameetritega lehekülgede jaotus. Sama toode on kättesaadav kümne eri aadressi kaudu.
- Saidisisene otsing. Iga päring on eraldi tulemuste leht, kui seda ei sulge.
- UTM-märgendid siselinkides. Klassika: märgendid on pandud saidisisestele bänneritele ja iga leht kahekordistus.
- Broneerimiskalendrid. Lõputu kuupäevade genereerimine ettepoole on lõks, kust robot välja ei saa.
- Ümbersuunamiste ahelad. Iga lüli on eraldi päring: kolm ühe asemel kulutab eelarvet kolm korda rohkem.
- Pehmed 404-d. Kustutatud tooted, mis vastavad koodiga 200 ja tühja kaardiga, käiakse edasi läbi. Kuidas selliseid aadresse õigesti sulgeda, kirjutasin artiklis 404, 410 või ümbersuunamine kustutatud lehtedele.
Kuidas tunni ajaga diagnoosida
Järjekord, mida ma tehnilisel auditil ise kasutan:
- Search Console → Seaded → Roomamisstatistika. Vaatan kolme asja: päringute arvu ööpäevas, keskmist vastusaega ning jaotust eesmärgi (avastamine vs uuendamine) ja failitüübi järgi.
- Jaotus vastusekoodide järgi. Märgatav 3xx ja 4xx osakaal tähendab, et eelarve kulub aadressidele, mida ammu pole.
- Serverilogid. Ainus allikas, kus on nimeliselt näha, milliseid URL-e Googlebot läbi käib ja mitu korda. Võtan välja 2–4 nädalat, filtreerin user-agenti järgi koos pöörd-DNS kontrolliga ja grupeerin URL-i mustri kaupa.
- Oma roomamine. Võrdlen, mitu URL-i leiab roomaja linkide kaudu ja mitu neist on sitemapis. Mitmekordne vahe on kindel prügi tekitamise märk.
- Vastusaeg. Kui keskmine vastusaeg püsib sekundi kandis või kõrgemal, jääb roomamissagedus madalaks olenemata kõigest muust. See on naaberteema saidi kiirusest ja positsioonidest, aga siin loeb just serveri vastus, mitte Core Web Vitals.
Ühekordne külastuste hüpe pärast väljalaset on normaalne: Googlebot käib muutunud lehed uuesti läbi. Murettekitav märk on teine ja paistab roomamisstatistikas 2–3 nädalaga välja: püsiv nihe parameetritega aadresside poole, kui tootekaartide külastused samal ajal kahanevad.
Millega eelarvet juhitakse
| Tööriist | Mida teeb | Millal kasutada |
|---|---|---|
| robots.txt | Keelab URL-i pärimise | Saidiotsing, kalendrid, ilmselgelt prügised parameetrid |
| noindex | Eemaldab indeksist, roomamine jääb alles | Leht on kasutajale vajalik, aga otsingusse ei kuulu |
| rel=canonical | Liidab duplikaadid | Sortimised ja ühe kaardi variandid |
| Parameetriteta lingid | Ei tekita lisaaadresse | Saidisisesed bännerid: märgendid ainult välistele allikatele |
| Kiire serveri vastus | Tõstab roomamissagedust | Alati |
| Korrektne lastmod sitemapis | Aitab valida, mida uuesti roomata | Sageli muutuvad kataloogid |
Saidikaardi ja keelufaili seadistust käsitlen eraldi artiklis sitemap.xml ja robots.txt. Siin on üks oluline märkus: robots.txt pole viis lehte otsingust eemaldada. Selles suletud aadressi võib Google tulemustes ilma kirjelduseta näidata, sest ta keelas endal selle lugemise.
Mida ma oma projektides näen
Oma saitidel jooksis Googlebot roomamislakke täpselt ühe korra, ja mitte mahu, vaid arhitektuuri pärast: parameetrite kombinatsioonide järgi genereeritud võrdluslehti tekkis suurusjärgu võrra rohkem kui kasulikku sisu. Ravi polnud roomamise peenhäälestus, vaid otsus, millistel kombinatsioonidel on üldse õigus eraldi lehena eksisteerida.
Aus rakenduspiir: kui sul on 40 lehega teenusesait või 300 artikliga blogi, pole kogu see peatükk sinu jaoks. Sinu lagi pole roomamiseelarve, vaid nõudlus ja kvaliteet. Teema juurde tasub naasta siis, kui URL-ide arv hakkab mõõduma kümnetes tuhandetes ja oluliste lehtede osakaal külastustes langeb.
Mida sel nädalal teha
- Ava roomamisstatistika ja kirjuta üles kolm arvu: päringuid ööpäevas, keskmine vastusaeg, mitte-200 vastuste osakaal.
- Jookseta sait roomajaga läbi ja võrdle leitud URL-ide arvu sitemapi omaga.
- Leia kolm kõige massilisemat prügiaadresside mustrit ja otsusta iga kohta: robots.txt, canonical või linkide eemaldamine.
- Eemalda UTM-märgendid siselinkidest — kõige odavam parandus märgatava mõjuga.
- Kui serveri vastus on sekundist aeglasem, tegele backendiga: see mõjutab nii roomamist kui ka kasutajat. Sellised parandused kuuluvad pigem veebiarenduse kui SEO-seadete alla, aga ilma nendeta jookseb tehniline audit lakke.
