Lühike vastus
Robots.txt juhib roomamist: see ütleb robotile, milliseid aadresse mitte alla laadida. Sitemap.xml juhib avastamist: see loetleb lehed, mille olemasolust sa soovid otsimootorile teada anda. Kumbki fail ei juhi indekseerimist otse — selle eest vastutavad metasilt noindex, canonical ja lehe enda väärtus.
Sellest tuleneb peamine praktiline reegel: leht, mille tahad otsitulemustest eemaldada, ei tohi olla robots.txt-is suletud. Vastasel juhul robot noindex'it ei loe ja leht jääb indeksisse — lihtsalt ilma kirjelduseta.
Mida robots.txt tegelikult teeb
Robots.txt asub domeeni juurkaustas (https://sait.ee/robots.txt) ja loetakse enne lehtede roomamist. Sees on reeglid stiilis „see robot siia ei lähe“.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /*?sort=
Disallow: /ostukorv
Sitemap: https://sait.ee/sitemap.xml
Mida siin mõista:
- See on soovitus, mitte kaitse. Suured otsimootorid järgivad seda, osa parseritest mitte. Privaatseid andmeid robots.txt-iga sulgeda on mõttetu: fail ise on avalik ja sa avaldad sisuliselt nimekirja aadressidest, mida pead tundlikuks.
- Suletud leht võib otsitulemustesse jääda. Kui sellele viivad välislingid, teab Google URL-i ja võib seda ilma katketa näidata. Search Console'is on see olek „Indekseeritud, kuigi robots.txt blokeerib“.
- Disallow ei eemalda juba indekseeritut. Vastupidi: roomamise sulgemisega võtad Google'ilt võimaluse näha, et leht on muutunud või saanud
noindex'i. - Reeglite järjekord ei ole hierarhiline. Kehtib kõige täpsem reegel, mitte esimene ülevalt.
Allowvõib alamteelDisallow'i üle kirjutada. - CSS-i ja JS-i blokeerimine on iganenud praktika. Google renderdab lehti; stiilide ja skriptide sulgemisega näitad talle katkist küljendust.
Eraldi rida on Sitemap: koos kaardi täisaadressiga. See on ainus viis anda saidikaardist teada nendele otsimootoritele, mille veebimeistri paneeli sul pole.
Mis kuulub sitemap.xml-i ja mis mitte
Kõige levinum eksiarvamus: saidikaart on „kõik saidi URL-id“. Ei ole. See on loend lehtedest, mida sa pead indekseerimist väärivaks. Iga URL kaardis on avaldus otsimootorile ja avaldused peavad olema järjekindlad.
| URL-i tüüp | Kaardile? | Miks |
|---|---|---|
| Leht annab 200 ja on indekseeritav | Jah | Selleks kaart ongi |
| Ümbersuunatud leht (301/302) | Ei | Pane lõppaadress |
| 404 või 410 | Ei | Otsene signaal, et kaarti ei hooldata |
Leht noindex'iga | Ei | Otsene signaalide vastuolu |
| Mittekanooniline versioon | Ei | Kaardile ainult kanooniline aadress |
| Sortimis- ja filtriparameetritega URL | Ei | Toodab duplikaate |
| Kategooriate lehekülgede jaotus | Tavaliselt ei | Leitakse linkide kaudu |
| Siltide ja arhiivide lehed | Oleneb | Ainult siis, kui neid otsitulemustes päriselt vajad |
| Keeleversioonid | Jah | Igaüks oma URL-iga, koos hreflang-märgistusega |
Vormingu tehnilised piirid: kuni 50 000 URL-i ja kuni 50 MB pakkimata kujul ühe faili kohta. Edasi jagatakse kaart mitmeks ja seotakse sitemap-indeksfailiga. Praktikas jõuavad nende piirideni ainult kataloogid, kuid kaardi jagamine tüüpide kaupa — tooted, kategooriad, artiklid — tasub end ära ka varem: Search Console'is näed siis, milline lehetüüp täpselt halvasti indekseerub.
Vabatahtlikest siltidest: lastmod'iga Google arvestab, kui seda saab usaldada. priority ja changefreq jäetakse Google'i töötajate sõnul tähelepanuta — nendele aega kulutada pole vaja.
Kuidas need kaks faili indekseerimise ära rikuvad
Aastate jooksul näen ma sama lühikest nimekirja.
1. Kogu saiti sulgev Disallow, mis jäi arendusest. Rida Disallow: / kolib testserverist toodangusse. Sümptom: liiklus kukub paari nädalaga, Search Console'is kasvab „Blokeeritud faili robots.txt tõttu“. Kontrollitakse kümne sekundiga — ja see on esimene asi, mida ma avan, kui sait „lihtsalt kadus otsingust“.
2. Korraga Disallow ja noindex. Taheti leht otsitulemustest eemaldada — suleti nii robots.txt-is kui ka metasildiga. Tulemus on soovitule vastupidine: noindex'it ei loeta, leht jääb alles. Õige järjekord on lahti kirjutatud artiklis sellest, miks Google lehti ei indekseeri.
3. Saidikaart, mida keegi pole uuendanud. Pool aadresse annab 404 ja uusi lehti pole. Google lõpetab tasapisi selle ülelugemise ja sa kaotad lihtsaima kanali uutest materjalidest teatamiseks.
4. Kaart kui viis nõrku lehti „indeksisse suruda“. URL-i lisamine kaardile ei tee lehte otsitulemuste vääriliseks. Kui Google seda näeb ega võta, ei ole asi avastamises, vaid väärtuses või dubleerimises.
5. Suhteline aadress Sitemap-direktiivis. Töötab ainult täisaadress koos protokolli ja domeeniga.
6. Erinev robots.txt www-ga ja ilma, http-l ja https-il. Formaalselt on need erinevad hostid ja fail loetakse igaühe jaoks eraldi. Pärast ümbersuunamiste seadistamist see ununeb.
7. Saidikaart ise on robots.txt-is suletud. Esineb harvem, aga esineb — tavaliselt siis, kui kaart asub suletud teeninduskaustas.
Mida ma praktikas kontrollin
Järjekord, mille ma igal saidil läbin enne sisu puutumist:
- Avan
/robots.txtbrauseris. Fail peab andma 200 ja olema lühike. Kui seal on sada rida, on seal peaaegu alati aastatega kogunenud prügi. - Otsin silmaga
Disallow: /ja kõike, mis sulgeb terveid sektsioone. Igal sellisel reeglil peab olema selgitus. - Kontrollin mõnda tähtsat URL-i Search Console'i tööriistaga „URL-i kontroll“: kas roomamine on lubatud ja millist aadressi peab Google kanooniliseks.
- Avan aruande „Saidikaardid“: kaart on loetud, kuupäev värske, leitud URL-ide arv võrreldav tegeliku lehtede arvuga. Kordades erinevus on põhjus edasi kaevata.
- Vaatan aruannet „Lehed“, kategooriaid „Blokeeritud faili robots.txt tõttu“ ja „Leitud, kuid pole indekseeritud“. Esimene püüab kinni liigsed keelud, teine räägib enamasti juba mitte failidest, vaid kvaliteedist ja struktuurist.
- Võrdlen kaarti tegelikkusega: roomab saidi läbi ja kõrvutan kaardi URL-ide loendit linkide kaudu ligipääsetavate lehtedega. Erinevus mõlemas suunas on informatiivne: mida kaardis pole, on kandidaat orblehtede hulka, mida saidil pole, on kaardis surnud aadress.
Rakendatavuse piiridest: 20–40-lehelisel saidil korraliku sisemise linkimisega ei otsusta saidikaart peaaegu midagi — Google leiab kõik linkide kaudu mõne päevaga. Tuntavaks muutub see kahel juhul: värske domeen ilma välislinkideta ja suur kataloog, kus osa lehti asub sügaval. Positsioonide kasvu sellelt oodata ei tasu üldse: see on avastamise, mitte ranžeerimise tööriist.
Kui pärast robots.txt-i muutmist ei juhtu ööpäevaga midagi, on see normaalne. Google puhverdab faili ega loe seda iga roomamise ajal uuesti.
Töötav miinimum tavalisele saidile
Skeem, millest ma teenustesaidil või väikepoes lähtun:
- Sulge robots.txt-is ainult mootori teenindussektsioonid, ostukorv, tellimuse vormistamine, kasutajakonto ja sisemise otsingu tulemused.
- Ära sulge CSS-i, JS-i, pilte ega ühtegi lehte, mis peab ranžeeruma.
- Märgi kaardi täisaadress direktiiviga
Sitemap:. - Genereeri sitemap.xml automaatselt mootori või pluginaga, mitte käsitsi.
- Jäta kaardilt välja mittekanoonilised URL-id, ümbersuunamised,
noindexja parameetritega aadressid. - Saada kaart Search Console'i ja tule aruande juurde nädala pärast tagasi.
- Juba indeksisse sattunud prügi-URL-idele kasuta avatud roomamise juures
noindex'it võicanonical'it — ja alles pärast ülekülastust sulge need robots.txt-is, kui roomamiseelarve seda nõuab.
Kui seitsmendal sammul selgub, et parameetri- ja filtri-URL-e tekib sadade kaupa, ei ravi seda kaks tekstifaili: vaja on aadresside moodustamise reegleid mootori tasandil, ehk veebiarendust. Ja kui prügiaadressid on juba näitamised endale tõmmanud ja konkureerivad normaalsete lehtedega, on tegu märksõnade kannibaliseerimisega, mida tuleb eraldi lahti harutada — tavaliselt SEO-optimeerimise raames koos struktuuri ümberkoostamisega.
