Lühike vastus: robots.txt enne oletamist
Kuidas leida saidikaarti kõige kiiremini? Avage https://domeen/robots.txt ja otsige ridu, mis algavad sõnaga Sitemap:. Seal on saidikaardi täisaadress, sageli isegi mitu. Alles siis, kui ridu pole, tasub aadressi oletada, alustades /sitemap.xml-ist.
Järjekord pole maitse küsimus. 17. novembril 2026 kontrollisin skriptiga 100 suurt USA saiti. Aadress /sitemap.xml andis päris saidikaardi 27 saidil, robots.txt nimetas kaardi 69 saidil. Sama tee sobib nii oma unustatud kaardi kui ka konkurendi saidikaardi leidmiseks. Allpool on numbrid, minutiline kontroll ja vead, mis mõõtmises kõige sagedamini ette tulid.
Mis on saidikaart ja millist faili otsida
Veebilehe saidikaart on fail, tavaliselt sitemap.xml, mis loetleb saidi aadressid otsingumootorite jaoks. Mõnikord on iga aadressi juures kuupäev <lastmod>. Suurel saidil on esimene fail tihti saidikaartide indeks (sitemapindex). See ei loetle lehti, vaid teisi saidikaarte: eraldi kaardid toodetele, artiklitele ja kategooriatele.
Ärge ajage seda segi jaluses oleva HTML-lehega „Saidikaart“. See on mõeldud inimestele. Siin on juttu XML-failist, mida loeb Google.
| Mida leiate | Juurelement | Mis sees on | Mida edasi teha |
|---|---|---|---|
| Üks saidikaart | <urlset> | lehtede aadressid <loc>, vahel <lastmod> | lugeda aadressid ja kuupäevad |
| Saidikaartide indeks | <sitemapindex> | teiste saidikaartide aadressid | avada suurim alamkaart |
| HTML-leht „Saidikaart“ | <html> | lingid inimestele | otsida XML-faili robots.txt-ist |
Google'i dokumentatsiooni järgi mahub ühte saidikaarti kuni 50 000 URL-i või 50 MB pakkimata kujul. Suurem kaart jagatakse mitmeks ja seotakse indeksifailiga. Seepärast on suurtel saitidel indeks peaaegu reegel: minu mõõtmises oli 58 loetavast kaardist 46 indeksid ja ainult 12 üksikud kaardid.
Oletamine või robots.txt: mida näitas 100 saiti
Kirjeldan meetodit, et saaksite mõõtmist korrata. Saidid on samad 100 suurt USA saiti 8 rühmas, mida kasutasin schema märgenduse mõõtmises: jaekaubandus 20, uudised 20, retseptid 10, teatmesaidid 10, reisimine 10, kohalikud teenused 10, tehnoloogia 10 ja meedia 10. Mõõtsin ühe Pythoni skriptiga (requests): kasutajaagent Chrome, keel en-US, ümbersuunamised lubatud, JavaScripti ei käivitatud. Iga saidi puhul luges skript robots.txt-i koos ridadega Sitemap:, proovis kuut tüüpaadressi ja avas esimese leitud kaardi.
| Viis | Tulemus 100 saidil | Mida see tähendab |
|---|---|---|
Rida Sitemap: robots.txt-is | 69 saiti | robots.txt oli loetav 82 saidil, neist 69-l (84%) oli rida olemas |
Ainult aadress /sitemap.xml | 27 saiti | päris kaart, mitte HTML ega viga |
| Kõik kuus tüüpaadressi | 32 saiti | ka kuus aadressi koos jäävad robots.txt-ist kaugele maha |
| Kaart ainult oletades | 2 saiti | HubSpot ja Shopify: robots.txt-is rida puudus |
Lugege numbreid nii. robots.txt-i sain kätte 82 saidilt; ülejäänud 18 andsid skriptile blokeerimislehe, vea 404 või faili, mis polnud robots.txt. Neist 82-st 69-l oli rida Sitemap: ja 13-l fail avanes, kuid rida puudus. Kõige rohkem räägib aga kolmas number. Neist 69 saidist, mis oma kaardi robots.txt-is ise nimetavad, ei andnud 44 aadressil /sitemap.xml loetavat kaarti, ja 39 puhul ei töötanud ükski kuuest tüüpaadressist. Kes ainult oletab, ei leia neilt 39 saidilt midagi, kuigi aadress on kirjas avalikus failis.
Saidikaart robots.txt-is: lugege kõik read
Google'i juhendi järgi võib rea Sitemap: panna robots.txt-is ükskõik kuhu ja ridu võib olla mitu; Google leiab kaardi järgmisel korral, kui ta robots.txt-i loeb. Suured saidid seda kasutavadki. 69 saidist 45-l oli rohkem kui üks rida Sitemap:, rekord oli Booking.com-il: 443 rida. Kui robots.txt ise annab vastuseks ümbersuunamise, vea 404 või 5xx, käitub Google igal juhul erinevalt; see on lahti võetud artiklis robots.txt-i vastused ja Google'i reaktsioon.
Kui sitemap'i ei leita: kus asub sitemap.xml muidu
robots.txt vaikib? Siis proovige tüüpaadresse. Tabelis on iga aadressi tulemus eraldi; ühel saidil võib töötada mitu, seega summa ei ole 32.
| Aadress | Tavaliselt | Töötas, saite 100-st |
|---|---|---|
/sitemap.xml | kõige levinum nimi | 27 |
/sitemap_index.xml | indeks mitme kaardiga | 6 |
/sitemaps/sitemap.xml | kaardid eraldi kaustas | 5 |
/wp-sitemap.xml | WordPressi sisseehitatud kaart alates versioonist 5.5 | 3 |
/sitemap.xml.gz | gzip-iga pakitud kaart | 2 |
/sitemap-index.xml | indeks, nimes sidekriips | 2 |
Kuus aadressi ei hõlma kõiki võimalikke nimesid ja osa saite blokeerib skriptide jaoks just need aadressid. Kui ükski ei vasta, jääb kaks võimalust. Google'is päring site:domeen sitemap leiab vahel kaardi, kui see on indekseeritud, aga see on jäme vahend ja tühi tulemus ei tõesta midagi. Oma saidi puhul on täpne vastus Search Console'i aruandes „Saidikaardid“: seal on kõik kaardid, mis on Google'ile esitatud.
Kaarti ei pruugi üldse olla ja see on lubatud. Väikesel saidil, kus kõik lehed on linkidega kättesaadavad, ei ole saidikaart kohustuslik. Kuidas luua saidikaarti ja ühendada see robots.txt-iga, kirjeldasin artiklis sitemap.xml ja robots.txt seadistamine.
Mis on kaardi sees: kuidas lugeda konkurendi saidikaarti
Konkurendi saidikaart näitab, milliseid lehti sait tahab otsingus näha ja millal neid viimati muudeti. Minu järjekord on lihtne. Avan indeksi, valin suurima alamkaardi, loen aadressid kokku ja sorteerin need <lastmod> järgi. Kuupäeva järgi sorteeritud loend vastab küsimusele „mis sel nädalal muutus?“.
Indeks võib olla suur. Medium indeksis loendasin 28 315 alamkaardi aadressi, seega kõiki käsitsi läbi ei vaata. Valige kaart, mille nimi vastab teid huvitavale lehetüübile (tooted, artiklid). Ühe kaardi piir on Google'i järgi 50 000 URL-i, nii et aadresside arv näitab, kui suur see lehetüüp saidil on.
<lastmod> oli 32 saidil 58-st. Google kasutab seda väärtust ainult siis, kui see on järjekindlalt ja kontrollitavalt täpne: ainult jaluse kuupäeva vahetamist sisu muutuseks ei loeta. Mina ei kontrollinud kuupäevade täpsust, ainult sildi olemasolu. Sildid <priority> ja <changefreq> on veel vähem väärt, sest sama juhendi järgi Google neid ignoreerib. priority leidsin 2 saidil (Nike ja HubSpot), changefreq 3 saidil (Nike, HubSpot ja The Guardian). Kui need sildid on kaardis, loen seda vana plugina või generaatori jäljena, mitte sõnumina Google'ile.
Üks hoiatus enne järelduste tegemist. Saidikaart näitab saidi kavatsust, mitte seda, mis otsingus tegelikult kõrgel on. Google kirjutab, et saidikaart ei garanteeri, et kõik selles olevad aadressid roomatakse ja indekseeritakse. Leht võib olla kaardis, kuid indeksist puududa, ja vastupidi; kuidas lehte teadlikult indeksist eemal hoida, selgitab artikkel noindex vs robots.txt. Väikeses lisavalimis (30 laenu- ja kasiinosaiti) oli pilt sarnane: robots.txt oli loetav 24-l, rida Sitemap: 22-l neist, /sitemap.xml töötas 17-l.
Kuidas vaadata saidi sitemap'i minutiga
- robots.txt.
curl -s https://domeen/robots.txt | grep -i '^sitemap:'näitab kõiki ridu. Kopeerige need kõik, mitte ainult esimene. - Mis fail see on.
curl -s https://domeen/sitemap.xml | head -c 400näitab algust.<sitemapindex>on indeks,<urlset>on lehtede loend,<html>tähendab enamasti blokeerimislehte. - Pakitud kaart. Kui aadress lõpeb
.gz-ga, pakkige lahti:curl -s URL | gunzip | head -c 400. - Aadresside arv.
curl -s URL | grep -o '<loc>' | wc -lloeb kokku sildid<loc>; indeksis on need alamkaardid, kaardis lehed. - Oma sait. Search Console'i aruanne „Saidikaardid“ näitab, milliseid kaarte Google luges ja millal.
Kui saite on rohkem kui paar, kasutan skripti: sitemap-finder võtab domeenide loendi ja kirjutab CSV-faili iga saidi kohta: leitud kaart, leidmise viis (robots.txt või tüüpaadress), kas tegu on indeksiga, aadresside arv ning sildid lastmod, priority ja changefreq.
Vead, mida mõõtmine näitas
- Esimene rida pole peamine kaart. robots.txt-i esimene rida
Sitemap:viis sageli uudistekaardile või mõnele eraldi kaardile. NYTimes, CNN, The Guardian ja The Verge alustasid uudistekaardiga, Nike abikeskuse kaardiga, Angi artiklite kaardiga. Seepärast kehtivad minu kaardi sisu numbrid ainult esimese faili kohta. Ise avage kindlasti kõik read. - HTML XML-i asemel. 11 saiti andsid tavalisele päringule HTML-lehe, nende seas Walmart, Wikipedia ja Pinterest. Nii blokeeritakse roboteid, kaart ise ei pruugi puududa: avage aadress brauseris.
- Pakitud fail. Target, NYTimes ja Airbnb andsid kaardi
.gz-failina. Brauser ei näita seda, vaid laadib alla; pakkige fail lahti. - Kaart teisel hostil. NPR-i kaart asus aadressil googlecrawl.npr.org, Cleveland Clinicu oma my.clevelandclinic.org-il, Zillow oma mortgageapi.zillow.com-il. Skript, mis otsib ainult põhidomeenilt, jätab need vahele.
Neljas punkt on seotud Google'i reegliga, mille järgi peab kaart sisaldama ainult sama saidi aadresse ja juurkaustas olev kaart kehtib kogu saidi kohta. Mina vaatasin ainult seda, kuhu robots.txt viitab, mitte seda, kas Google sellise kaardi vastu võtab.
Kellele see ei sobi ja kus on mõõtmise piirid
Kui teil on paarikümneleheline sait ja kõik lehed on menüüst kättesaadavad, ei muuda saidikaardi otsimine teie SEO-s midagi. Ka roomamiseelarve hakkab lugema alles suurtel saitidel. See artikkel on mõeldud neile, kes uurivad võõrast saiti või otsivad oma unustatud kaarti.
Minu numbritel on piirid:
- Suured USA saidid blokeerivad skripte. Seepärast on alusarvud 82 ja 58, mitte 100. Väiksematel saitidel võib pilt olla teistsugune.
- Toores vastus ilma JavaScriptita, Chrome, mitte Googlebot. Googlebot võib saada teise robots.txt-i või teise faili.
- Sildi olemasolu, mitte väärtuse täpsus. lastmod-i kuupäevi ma õigsuse suhtes ei kontrollinud.
- Üks päev. 17. november 2026; saidid muudavad neid faile.
Kui tahate, et teie saidikaart, robots.txt ja indekseerimine koos üle vaadataks, teen seda tehnilise SEO auditi raames.
Materjalid
Artikli all on kolm faili: ülal kirjeldatud skript sitemap-finder, spikker otsimise järjekorra, CMS-ide aadresside ja siltide väärtustega ning andmestik 100 suure saidi kaartidega (litsents CC BY 4.0) koos mõõtmisskriptiga.
