Arutame projekti

Kuidas leida veebilehe saidikaart: kõigepealt robots.txt

Kuidas leida saidikaarti: avage robots.txt ja lugege kõik Sitemap-read. Aadress /sitemap.xml andis 17. novembril 2026 kaardi vaid 27 saidil 100-st.

Vladislav Krivorutško — ADLABi asutaja
Vladislav Krivorutško

17. november 2026 · 11 min lugemist

Video on inglise keeles, kanal ADLAB. Ava YouTube'is

Sisukord
  1. 01Lühike vastus: robots.txt enne oletamist
  2. 02Mis on saidikaart ja millist faili otsida
  3. 03Oletamine või robots.txt: mida näitas 100 saiti
  4. 04Kui sitemap'i ei leita: kus asub sitemap.xml muidu
  5. 05Mis on kaardi sees: kuidas lugeda konkurendi saidikaarti
  6. 06Kuidas vaadata saidi sitemap'i minutiga
  7. 07Vead, mida mõõtmine näitas
  8. 08Kellele see ei sobi ja kus on mõõtmise piirid
  9. 09Materjalid
  10. Kontrollige ennast
  11. Materjalid videost

TL;DR — lühidalt peamisest

  1. 1Saidikaardi leiate kõige kindlamalt failist robots.txt: otsige ridu Sitemap: ja avage need kõik, mitte ainult esimene
  2. 217. novembril 2026 nimetas robots.txt saidikaardi 69 suurel USA saidil 100-st, aadress /sitemap.xml andis päris kaardi ainult 27-l
  3. 3Kui robots.txt-is rida pole, proovige tüüpaadresse: /sitemap.xml, /sitemap_index.xml, /sitemaps/sitemap.xml, /wp-sitemap.xml, /sitemap.xml.gz ja /sitemap-index.xml
  4. 4Suurel saidil on esimene fail tavaliselt saidikaartide indeks: 58 loetavast kaardist 46 olid indeksid, Medium indeksis oli 28 315 alamkaarti
  5. 5Google ignoreerib silte priority ja changefreq; lastmod-i kasutab ainult siis, kui kuupäev on järjekindlalt ja kontrollitavalt täpne

Lühike vastus: robots.txt enne oletamist

Kuidas leida saidikaarti kõige kiiremini? Avage https://domeen/robots.txt ja otsige ridu, mis algavad sõnaga Sitemap:. Seal on saidikaardi täisaadress, sageli isegi mitu. Alles siis, kui ridu pole, tasub aadressi oletada, alustades /sitemap.xml-ist.

Järjekord pole maitse küsimus. 17. novembril 2026 kontrollisin skriptiga 100 suurt USA saiti. Aadress /sitemap.xml andis päris saidikaardi 27 saidil, robots.txt nimetas kaardi 69 saidil. Sama tee sobib nii oma unustatud kaardi kui ka konkurendi saidikaardi leidmiseks. Allpool on numbrid, minutiline kontroll ja vead, mis mõõtmises kõige sagedamini ette tulid.

Mis on saidikaart ja millist faili otsida

Veebilehe saidikaart on fail, tavaliselt sitemap.xml, mis loetleb saidi aadressid otsingumootorite jaoks. Mõnikord on iga aadressi juures kuupäev <lastmod>. Suurel saidil on esimene fail tihti saidikaartide indeks (sitemapindex). See ei loetle lehti, vaid teisi saidikaarte: eraldi kaardid toodetele, artiklitele ja kategooriatele.

Ärge ajage seda segi jaluses oleva HTML-lehega „Saidikaart“. See on mõeldud inimestele. Siin on juttu XML-failist, mida loeb Google.

Mida leiateJuurelementMis sees onMida edasi teha
Üks saidikaart<urlset>lehtede aadressid <loc>, vahel <lastmod>lugeda aadressid ja kuupäevad
Saidikaartide indeks<sitemapindex>teiste saidikaartide aadressidavada suurim alamkaart
HTML-leht „Saidikaart“<html>lingid inimesteleotsida XML-faili robots.txt-ist

Google'i dokumentatsiooni järgi mahub ühte saidikaarti kuni 50 000 URL-i või 50 MB pakkimata kujul. Suurem kaart jagatakse mitmeks ja seotakse indeksifailiga. Seepärast on suurtel saitidel indeks peaaegu reegel: minu mõõtmises oli 58 loetavast kaardist 46 indeksid ja ainult 12 üksikud kaardid.

Oletamine või robots.txt: mida näitas 100 saiti

Kirjeldan meetodit, et saaksite mõõtmist korrata. Saidid on samad 100 suurt USA saiti 8 rühmas, mida kasutasin schema märgenduse mõõtmises: jaekaubandus 20, uudised 20, retseptid 10, teatmesaidid 10, reisimine 10, kohalikud teenused 10, tehnoloogia 10 ja meedia 10. Mõõtsin ühe Pythoni skriptiga (requests): kasutajaagent Chrome, keel en-US, ümbersuunamised lubatud, JavaScripti ei käivitatud. Iga saidi puhul luges skript robots.txt-i koos ridadega Sitemap:, proovis kuut tüüpaadressi ja avas esimese leitud kaardi.

Oletamine või robots.txt: kus saidikaart leiti/sitemap.xml annab päris kaardi27 / 100robots.txt nimetab kaardi69 / 100Neist 69-st 44 saidil ei andnudaadress /sitemap.xml loetavat kaarti
Minu mõõtmine 17. novembril 2026: 100 suurt USA saiti, tavaline päring ilma JavaScriptita; 18 saidi robots.txt-i ei õnnestunud lugeda ja need on arvestatud vastuse „ei“ alla.
ViisTulemus 100 saidilMida see tähendab
Rida Sitemap: robots.txt-is69 saitirobots.txt oli loetav 82 saidil, neist 69-l (84%) oli rida olemas
Ainult aadress /sitemap.xml27 saitipäris kaart, mitte HTML ega viga
Kõik kuus tüüpaadressi32 saitika kuus aadressi koos jäävad robots.txt-ist kaugele maha
Kaart ainult oletades2 saitiHubSpot ja Shopify: robots.txt-is rida puudus

Lugege numbreid nii. robots.txt-i sain kätte 82 saidilt; ülejäänud 18 andsid skriptile blokeerimislehe, vea 404 või faili, mis polnud robots.txt. Neist 82-st 69-l oli rida Sitemap: ja 13-l fail avanes, kuid rida puudus. Kõige rohkem räägib aga kolmas number. Neist 69 saidist, mis oma kaardi robots.txt-is ise nimetavad, ei andnud 44 aadressil /sitemap.xml loetavat kaarti, ja 39 puhul ei töötanud ükski kuuest tüüpaadressist. Kes ainult oletab, ei leia neilt 39 saidilt midagi, kuigi aadress on kirjas avalikus failis.

Saidikaart robots.txt-is: lugege kõik read

Google'i juhendi järgi võib rea Sitemap: panna robots.txt-is ükskõik kuhu ja ridu võib olla mitu; Google leiab kaardi järgmisel korral, kui ta robots.txt-i loeb. Suured saidid seda kasutavadki. 69 saidist 45-l oli rohkem kui üks rida Sitemap:, rekord oli Booking.com-il: 443 rida. Kui robots.txt ise annab vastuseks ümbersuunamise, vea 404 või 5xx, käitub Google igal juhul erinevalt; see on lahti võetud artiklis robots.txt-i vastused ja Google'i reaktsioon.

Kui sitemap'i ei leita: kus asub sitemap.xml muidu

robots.txt vaikib? Siis proovige tüüpaadresse. Tabelis on iga aadressi tulemus eraldi; ühel saidil võib töötada mitu, seega summa ei ole 32.

AadressTavaliseltTöötas, saite 100-st
/sitemap.xmlkõige levinum nimi27
/sitemap_index.xmlindeks mitme kaardiga6
/sitemaps/sitemap.xmlkaardid eraldi kaustas5
/wp-sitemap.xmlWordPressi sisseehitatud kaart alates versioonist 5.53
/sitemap.xml.gzgzip-iga pakitud kaart2
/sitemap-index.xmlindeks, nimes sidekriips2

Kuus aadressi ei hõlma kõiki võimalikke nimesid ja osa saite blokeerib skriptide jaoks just need aadressid. Kui ükski ei vasta, jääb kaks võimalust. Google'is päring site:domeen sitemap leiab vahel kaardi, kui see on indekseeritud, aga see on jäme vahend ja tühi tulemus ei tõesta midagi. Oma saidi puhul on täpne vastus Search Console'i aruandes „Saidikaardid“: seal on kõik kaardid, mis on Google'ile esitatud.

Kaarti ei pruugi üldse olla ja see on lubatud. Väikesel saidil, kus kõik lehed on linkidega kättesaadavad, ei ole saidikaart kohustuslik. Kuidas luua saidikaarti ja ühendada see robots.txt-iga, kirjeldasin artiklis sitemap.xml ja robots.txt seadistamine.

Mis on kaardi sees: kuidas lugeda konkurendi saidikaarti

Konkurendi saidikaart näitab, milliseid lehti sait tahab otsingus näha ja millal neid viimati muudeti. Minu järjekord on lihtne. Avan indeksi, valin suurima alamkaardi, loen aadressid kokku ja sorteerin need <lastmod> järgi. Kuupäeva järgi sorteeritud loend vastab küsimusele „mis sel nädalal muutus?“.

Tee robots.txt-ist lehtede aadressidenirobots.txtread Sitemap: · 69 saidil 100-stSaidikaartide indekssitemapindex · 46 esimest kaarti 58-stAlamkaardidtooted, artiklid, kategooriadLehtede aadressid + lastmodlastmod: 32 esimeses kaardis 58-st
Tee robots.txt-ist lehtede aadressideni. Numbrid: minu mõõtmine 17. novembril 2026, 100 suurt USA saiti, neist 58 andsid loetava saidikaardi; igalt saidilt avasin esimese leitud kaardi.

Indeks võib olla suur. Medium indeksis loendasin 28 315 alamkaardi aadressi, seega kõiki käsitsi läbi ei vaata. Valige kaart, mille nimi vastab teid huvitavale lehetüübile (tooted, artiklid). Ühe kaardi piir on Google'i järgi 50 000 URL-i, nii et aadresside arv näitab, kui suur see lehetüüp saidil on.

<lastmod> oli 32 saidil 58-st. Google kasutab seda väärtust ainult siis, kui see on järjekindlalt ja kontrollitavalt täpne: ainult jaluse kuupäeva vahetamist sisu muutuseks ei loeta. Mina ei kontrollinud kuupäevade täpsust, ainult sildi olemasolu. Sildid <priority> ja <changefreq> on veel vähem väärt, sest sama juhendi järgi Google neid ignoreerib. priority leidsin 2 saidil (Nike ja HubSpot), changefreq 3 saidil (Nike, HubSpot ja The Guardian). Kui need sildid on kaardis, loen seda vana plugina või generaatori jäljena, mitte sõnumina Google'ile.

Üks hoiatus enne järelduste tegemist. Saidikaart näitab saidi kavatsust, mitte seda, mis otsingus tegelikult kõrgel on. Google kirjutab, et saidikaart ei garanteeri, et kõik selles olevad aadressid roomatakse ja indekseeritakse. Leht võib olla kaardis, kuid indeksist puududa, ja vastupidi; kuidas lehte teadlikult indeksist eemal hoida, selgitab artikkel noindex vs robots.txt. Väikeses lisavalimis (30 laenu- ja kasiinosaiti) oli pilt sarnane: robots.txt oli loetav 24-l, rida Sitemap: 22-l neist, /sitemap.xml töötas 17-l.

Kuidas vaadata saidi sitemap'i minutiga

  1. robots.txt. curl -s https://domeen/robots.txt | grep -i '^sitemap:' näitab kõiki ridu. Kopeerige need kõik, mitte ainult esimene.
  2. Mis fail see on. curl -s https://domeen/sitemap.xml | head -c 400 näitab algust. <sitemapindex> on indeks, <urlset> on lehtede loend, <html> tähendab enamasti blokeerimislehte.
  3. Pakitud kaart. Kui aadress lõpeb .gz-ga, pakkige lahti: curl -s URL | gunzip | head -c 400.
  4. Aadresside arv. curl -s URL | grep -o '<loc>' | wc -l loeb kokku sildid <loc>; indeksis on need alamkaardid, kaardis lehed.
  5. Oma sait. Search Console'i aruanne „Saidikaardid“ näitab, milliseid kaarte Google luges ja millal.

Kui saite on rohkem kui paar, kasutan skripti: sitemap-finder võtab domeenide loendi ja kirjutab CSV-faili iga saidi kohta: leitud kaart, leidmise viis (robots.txt või tüüpaadress), kas tegu on indeksiga, aadresside arv ning sildid lastmod, priority ja changefreq.

Vead, mida mõõtmine näitas

  • Esimene rida pole peamine kaart. robots.txt-i esimene rida Sitemap: viis sageli uudistekaardile või mõnele eraldi kaardile. NYTimes, CNN, The Guardian ja The Verge alustasid uudistekaardiga, Nike abikeskuse kaardiga, Angi artiklite kaardiga. Seepärast kehtivad minu kaardi sisu numbrid ainult esimese faili kohta. Ise avage kindlasti kõik read.
  • HTML XML-i asemel. 11 saiti andsid tavalisele päringule HTML-lehe, nende seas Walmart, Wikipedia ja Pinterest. Nii blokeeritakse roboteid, kaart ise ei pruugi puududa: avage aadress brauseris.
  • Pakitud fail. Target, NYTimes ja Airbnb andsid kaardi .gz-failina. Brauser ei näita seda, vaid laadib alla; pakkige fail lahti.
  • Kaart teisel hostil. NPR-i kaart asus aadressil googlecrawl.npr.org, Cleveland Clinicu oma my.clevelandclinic.org-il, Zillow oma mortgageapi.zillow.com-il. Skript, mis otsib ainult põhidomeenilt, jätab need vahele.

Neljas punkt on seotud Google'i reegliga, mille järgi peab kaart sisaldama ainult sama saidi aadresse ja juurkaustas olev kaart kehtib kogu saidi kohta. Mina vaatasin ainult seda, kuhu robots.txt viitab, mitte seda, kas Google sellise kaardi vastu võtab.

Kellele see ei sobi ja kus on mõõtmise piirid

Kui teil on paarikümneleheline sait ja kõik lehed on menüüst kättesaadavad, ei muuda saidikaardi otsimine teie SEO-s midagi. Ka roomamiseelarve hakkab lugema alles suurtel saitidel. See artikkel on mõeldud neile, kes uurivad võõrast saiti või otsivad oma unustatud kaarti.

Minu numbritel on piirid:

  • Suured USA saidid blokeerivad skripte. Seepärast on alusarvud 82 ja 58, mitte 100. Väiksematel saitidel võib pilt olla teistsugune.
  • Toores vastus ilma JavaScriptita, Chrome, mitte Googlebot. Googlebot võib saada teise robots.txt-i või teise faili.
  • Sildi olemasolu, mitte väärtuse täpsus. lastmod-i kuupäevi ma õigsuse suhtes ei kontrollinud.
  • Üks päev. 17. november 2026; saidid muudavad neid faile.

Kui tahate, et teie saidikaart, robots.txt ja indekseerimine koos üle vaadataks, teen seda tehnilise SEO auditi raames.

Materjalid

Artikli all on kolm faili: ülal kirjeldatud skript sitemap-finder, spikker otsimise järjekorra, CMS-ide aadresside ja siltide väärtustega ning andmestik 100 suure saidi kaartidega (litsents CC BY 4.0) koos mõõtmisskriptiga.

Test

Kontrollige ennast

Mõned küsimused artikli kohta. Vastus ja selgitus ilmuvad kohe pärast valikut, vastuseid ei saadeta kuhugi.

0/4

vastatud

  1. 1.Kust otsida võõra saidi saidikaarti esimesena?
  2. 2.Mis on saidikaartide indeks (sitemapindex)?
  3. 3.Milliseid saidikaardi silte Google ei kasuta?
  4. 4.Saidi robots.txt-is pole rida Sitemap:. Mida teha?

ADLAB · failid videost

Materjalid videost

Videos näidatud skriptid, viibad, mallid ja andmed. Failid on inglise keeles: tekstifailid avanevad tavalise tekstina, zip-arhiivis on ühe materjali kõik failid.

  1. 01Andmestik6 faili · 25 KB · CC-BY-4.0

    Suured saidid ja saidikaardid: kus 100 suurt USA saiti oma kaarti hoiavad (andmed, 2026-11-17)

    100 suurest USA saidist viitab robots.txt kaardile 69 puhul ja /sitemap.xml töötab 27 puhul. CSV 100 saidi kohta, CC BY 4.0, koos mõõtmis- ja analüüsiskriptiga.

    Sisu · 6 faili
    • big-sites-sitemaps-2026.csv

      Üks rida saidi kohta: robots.txt, Sitemap-read, esimene kaart, indeks või mitte, aadresside arv, lastmod, priority, changefreq

      9.5 KB
    • analyze.py

      Python 3.8+, ainult standardteek; taastoodab kõik sellel lehel olevad numbrid, võrguühenduseta enesetestiga

      5.0 KB
    • measure.py

      Kordab mõõtmist teie saidinimekirjal (requests)

      4.1 KB
    • sites.txt

      100 saiti autori kategooriatega

      1.8 KB
    • requirements.txt

      measure.py ainus pakett

      15 B
    • README.md

      Tulemused, metoodika, veerud, piirangud, kuidas korrata, kuidas viidata

      5.0 KB
  2. 02Skript5 faili · 15 KB · MIT

    Saidikaardi otsija skript: sitemap domeenide nimekirjale

    Pythoni skript: domeenide nimekirja kohta loeb kõigepealt robots.txt-i, siis proovib kuut aadressi ja kirjutab CSV rea: kus kaart on, kas see on indeks, aadresside arv, kas lastmod on olemas.

    Sisu · 5 faili
    • README.md

      Käivitamine 3 sammuga, CSV veerud, lõksud (esimene kaart ei ole alati peamine), Tested on

      4.4 KB
    • sitemap_finder.py

      Otsija ise: Python 3.8+, üks pakett (requests), võrguühenduseta enesetestiga 17 kontrolliga

      10 KB
    • requirements.txt

      requests>=2.31, paigaldatakse virtuaalkeskkonda

      15 B
    • domains.sample.txt

      5 suure saidi avalikku domeeni, et tulemust näha

      110 B
    • sample-output.csv

      Mida andis proovikäivitus 2026-11-17

      612 B
  3. 03Kontrollnimekiri2 faili · 6.9 KB · CC-BY-4.0

    Spikker: kust saidikaarti otsida, aadressid ja siltide tähendus

    Ühe lehe spikker: saidikaardi otsimise järjekord, kuus aadressi koos tabamuste arvuga, platvormide vaikeväärtused, mida Google lastmodi, priorityga ja changefreqiga teeb, piirangud ja lõksud.

    Sisu · 2 faili
    • sitemap-where-to-look-cheat-sheet.md

      Otsingu järjekord, kuus aadressi ja tabamuste arv, platvormide vaikeväärtused, siltide tähendus, piirangud, lõksud, oma saidi minutiline kontroll

      5.6 KB
    • README.md

      3 sammu ja mida kontrollida, enne kui sellele toetud

      1.2 KB

Korduma kippuvad küsimused

Kuidas leida saidikaarti?
Avage aadress domeen/robots.txt ja otsige ridu, mis algavad sõnaga Sitemap:. Seal on saidikaardi täisaadress. Kui ridu pole, proovige tüüpaadresse, alustades /sitemap.xml-ist. Minu mõõtmises 17. novembril 2026 nimetas robots.txt kaardi 69 suurel saidil 100-st, /sitemap.xml töötas 27-l.
Kus asub sitemap.xml?
Kõige sagedamini saidi juurkaustas aadressil /sitemap.xml, kuid see pole reegel. Kaart võib olla aadressil /sitemap_index.xml, /wp-sitemap.xml (WordPressi sisseehitatud kaart alates versioonist 5.5), pakitud failina .gz või hoopis teisel alamdomeenil. Täpse asukoha ütleb robots.txt-i rida Sitemap:.
Kuidas leida konkurendi saidikaart?
Samamoodi nagu enda oma: konkurendi robots.txt, read Sitemap:, seejärel tüüpaadressid. Saidikaart on avalik fail, mille sait ise otsingumootoritele annab. Kui leiate indeksi, avage suurim alamkaart ja vaadake lastmod-kuupäevi: need näitavad, milliseid lehti viimati muudeti.
Miks annab /sitemap.xml vea 404 või HTML-lehe?
Tavaliselt asub kaart mujal või blokeerib sait skripte. Minu mõõtmises andis 11 saiti tavalisele päringule XML-i asemel HTML-i, nende seas Walmart, Wikipedia ja Pinterest. Avage sama aadress brauseris ja vaadake robots.txt-ist, kuhu rida Sitemap: tegelikult viitab.
Kas Google kasutab saidikaardis silte priority ja changefreq?
Ei. Google'i dokumentatsiooni järgi ignoreerib ta mõlemat. lastmod-i kasutab Google siis, kui väärtus on järjekindlalt ja kontrollitavalt täpne; ainult jaluse kuupäeva muutmine ei lähe arvesse. 58 loetavast kaardist oli priority 2-l ja changefreq 3-l.
Kas saidikaart tagab, et Google lehed indekseerib?
Ei taga. Google kirjutab, et saidikaart ei garanteeri, et kõik selles olevad aadressid roomatakse ja indekseeritakse. Leht võib olla kaardis, kuid indeksist puududa, ja vastupidi. Väikesel hästi lingitud saidil ei ole kaart kohustuslik.
Vladislav Krivorutško — ADLABi asutaja

Artikli autor

Vladislav Krivorutško

ADLAB OÜ asutaja · SEO ja Google Ads

Üle 20 aasta otsiliikluse ja monetiseerimisega, Eesti turul alates 2017. aastast. Töötan üksi: teen auditi, koostan strateegia ja viin projekti ise lõpuni — ilma alltöövõtjate ja šabloonideta. Kirjutan ainult sellest, mida olen oma ja klientide saitidel järele proovinud.

  • 20+ aastat otsiliikluses
  • 50+ projekti võtmed kätte
  • Oma saidid konkurentsitihedates nišides
  • SEO ru/et/en ühes otsingutulemuses
Loe minust lähemalt

Järeldused

Saidikaardi otsimine algab failist robots.txt, sest seal kirjutab sait ise, kus tema kaart asub. Minu 100 suure USA saidi mõõtmises nimetas robots.txt kaardi 69 saidil, aga 44 neist ei andnud aadressil /sitemap.xml loetavat kaarti ja 39 puhul ei töötanud ükski kuuest tüüpaadressist. Kes ainult oletab, jääb neil saitidel tühjade kätega. Lugege kõik Sitemap-read, avage indeksist suurim alamkaart ja sorteerige aadressid kuupäeva järgi: nii näete, mida konkurent sel nädalal muutis. Kui tahate, et teie enda saidikaart, robots.txt ja indekseerimine koos üle vaadataks, teen seda tehnilise SEO auditi raames.

Loe edasi