Как найти карту сайта: короткий ответ
Откройте адрес-сайта/robots.txt и найдите строки, которые начинаются с Sitemap:. В них сайт сам указывает свои файлы Sitemap. Способ работает и для своего сайта, и для чужого, а угадывать адреса вроде /sitemap.xml стоит, только если такой строки нет.
Порядок важен. 17 ноября 2026 года я проверил 100 крупных сайтов США: адрес /sitemap.xml отдал настоящую карту у 27 из них, а robots.txt указывал на карту у 69. Ниже разберу, какую карту искать, где находится sitemap.xml, если robots.txt молчит, как посмотреть карту сайта конкурента и на каких ошибках я спотыкаюсь чаще всего.
Что такое карта сайта и какую искать
Под картой сайта здесь я понимаю XML-файл со списком адресов, который сайт готовит для поисковых систем. Рядом с адресом часто стоит дата последнего изменения lastmod. В справке Google о файлах Sitemap его описывают как файл с информацией о страницах, видео и других файлах сайта. HTML-страница «Карта сайта» из подвала сделана для людей, и по ней не видно, что сайт отдаёт поисковику.
| Что нашли | Как выглядит внутри | Что с этим делать |
|---|---|---|
Файл Sitemap (urlset) | Список <loc> с адресами страниц, иногда с <lastmod> | Считать адреса, смотреть даты |
Индексный файл Sitemap (sitemapindex) | Список <loc> с адресами других файлов Sitemap | Открывать дочерние карты |
| HTML-страница «Карта сайта» | Обычная страница со ссылками | Для разведки почти бесполезна |
У крупного сайта первым чаще всего попадается индекс. Из 58 сайтов, где я нашёл читаемую карту, у 46 это был индексный файл, и только у 12 — одна карта. Рекорд у Medium: 28 315 адресов дочерних карт в одном индексе. Так и задумано: по руководству Google один файл Sitemap вмещает до 50 МБ без сжатия или 50 000 URL, а сайт покрупнее делит карту на части и объединяет их индексным файлом.
Если карту нужно не найти, а сделать, загляните в статью sitemap.xml и robots.txt: настройка: там разобрано, как создать sitemap и подключить его. Здесь речь только о поиске и чтении.
Карта сайта в robots.txt против угадывания адреса
Сначала о методе, чтобы замер можно было повторить. Сайты те же, что в моём замере микроразметки: 100 крупных сайтов США в 8 группах (ритейл 20, новости 20, рецепты 10, справочные 10, путешествия 10, локальные сервисы 10, технологии 10, медиа 10). 17 ноября 2026 года скрипт на Python запросил у каждого сайта robots.txt, выписал строки Sitemap: и проверил шесть типовых адресов. Запросы обычные: юзер-агент Chrome, язык en-US, переход по редиректам разрешён, JavaScript не выполняется. Первую найденную карту скрипт открывал и записывал её тип, сжатие, число тегов <loc> и наличие lastmod, priority и changefreq.
Первое, что выяснилось: доступ есть не везде. robots.txt удалось прочитать у 82 сайтов из 100, у остальных 18 сработала защита от ботов, пришёл ответ 404 или вместо файла отдалось что-то другое. Строку Sitemap: содержали 69 из этих 82, то есть 84 %.
| Где искали | Сайтов из 100 | Что важно знать |
|---|---|---|
Строка Sitemap: в robots.txt | 69 | Из 82 сайтов с читаемым robots.txt |
/sitemap.xml | 27 | Отдал настоящую карту, а не заглушку |
/sitemap_index.xml | 6 | Считается отдельно от остальных адресов |
/sitemaps/sitemap.xml | 5 | Считается отдельно |
/wp-sitemap.xml | 3 | Встроенная карта WordPress |
/sitemap.xml.gz и /sitemap-index.xml | по 2 | Считается отдельно |
| Любой из шести типовых адресов | 32 | У одного сайта могут работать несколько |
Угадывание проигрывает даже там, где карту никто не прячет. Из 69 сайтов со строкой в robots.txt у 44 адрес /sitemap.xml читаемую карту не отдал, а у 39 не сработал ни один из шести адресов. Обратных случаев мало: только угадыванием, без строки в robots.txt, карта нашлась у двух сайтов — HubSpot и Shopify.
Для Google это штатный способ. Строку Sitemap: можно поставить в любом месте robots.txt, строк может быть несколько, и Google найдёт карту при следующем обходе файла. Отдельно я прогнал тем же скриптом 30 сайтов из ниш кредитов и казино: строка Sitemap: нашлась в 22 из 24 читаемых robots.txt, а /sitemap.xml сработал у 17. Что делает Google, если robots.txt отвечает редиректом или ошибкой, я разобрал в статье про robots.txt с редиректом, 404 или 5xx.
Если строки Sitemap нет: где находится sitemap.xml
У 13 из 82 сайтов с читаемым robots.txt строки Sitemap: не было. Это ещё не значит, что карты нет. Если sitemap.xml не найден по привычному адресу, я проверяю по порядку:
- Типовые адреса.
/sitemap.xml,/sitemap_index.xml,/sitemap-index.xml,/wp-sitemap.xml(встроенная карта WordPress),/sitemaps/sitemap.xml,/sitemap.xml.gz. Код ответа 200 ещё ничего не доказывает: смотрите, что внутри —<urlset>или<sitemapindex>. - Поиск Google. Запрос
site:домен sitemapиногда показывает проиндексированный файл карты. Способ грубый: пустая выдача не означает, что карты нет. - Если сайт ваш. В Search Console откройте отчёт «Файлы Sitemap»: там видно, какие карты отправлены и когда Google их читал. В CMS карту обычно создаёт плагин или встроенная функция, а её адрес указан в настройках.
Карты может не быть совсем, и это допустимо. Google в той же справке о файлах Sitemap пишет, что небольшому сайту с хорошими внутренними ссылками она может не понадобиться. Узнать карту сайта такого размера проще всего по меню и перелинковке.
Как посмотреть карту сайта конкурента
Маршрут был один и тот же у каждого из 58 крупных сайтов с читаемой картой: от robots.txt к индексу, от индекса к дочерним картам, от них к адресам и датам.
Откройте все строки Sitemap:. У 45 из 69 сайтов строк больше одной, у Booking.com их 443. Первая строка часто ведёт не на главную карту: у NYTimes, CNN, The Guardian и The Verge это карта новостей, у Nike — карта справки, у Angi — карта статей.
Из индекса идите в крупнейшую дочернюю карту. По её имени обычно понятно, что внутри (у Medium дочерних карт 28 315): товары, категории, статьи. По числу адресов в ней можно прикинуть размер раздела.
Отсортируйте адреса по lastmod. Сверху окажется то, что сайт менял в последние дни: новые товары, переписанные статьи, свежие категории. Дата есть не везде: в замере lastmod нашёлся в 32 картах из 58. По руководству Google, lastmod учитывается, только если значение стабильно точное и это можно проверить; смена года в подвале обновлением страницы не считается.
priority и changefreq пропускайте. Google эти значения игнорирует. В замере priority встретился у 2 карт из 58 (Nike и HubSpot), changefreq — у 3 (Nike, HubSpot и The Guardian); для меня это след старого плагина. Оговорка: скрипт проверял наличие тега в первом открытом файле, а первым был файл из первой строки robots.txt, поэтому у NYTimes или Nike в главной карте картина может быть другой.
Моё мнение, а не факт из замера: карта показывает, какие страницы сайт хочет видеть в индексе, но не то, какие из них ранжируются. Google сам пишет, что файл Sitemap не гарантирует сканирование и индексацию всех адресов в нём. Если в карте конкурента стоят страницы с noindex, он сам себе противоречит; чем это плохо, я объяснял в статье noindex или robots.txt.
Проверка за минуту
Пять команд для терминала; вместо сайт.com подставьте нужный домен.
- Строки в robots.txt:
curl -s https://сайт.com/robots.txt | grep -i '^sitemap:' - Что лежит по адресу:
curl -sL https://сайт.com/sitemap.xml | head -c 300. Нужен<urlsetили<sitemapindex;<htmlозначает заглушку. - Сжатая карта:
curl -sL https://сайт.com/sitemap.xml.gz | gunzip | head -c 300 - Сколько адресов:
curl -sL URL-карты | grep -o '<loc>' | wc -l. Считайте вхождения, а не строки: многие карты записаны одной строкой. - Самые свежие даты:
curl -sL URL-карты | grep -o '<lastmod>[^<]*' | sort -r | head
Когда доменов больше пары, я запускаю скрипт sitemap-finder: он принимает список доменов и для каждого записывает в CSV найденную карту, способ (robots.txt или типовой адрес), индекс это или нет, число адресов и наличие lastmod, priority и changefreq.
Ошибки, на которых я спотыкаюсь чаще всего
Все примеры взяты из того же замера 17 ноября 2026 года. Почти каждая из этих ошибок создаёт впечатление, что у сайта нет карты, хотя она есть.
- Только первая строка
Sitemap:. У 45 из 69 сайтов строк несколько, и первая часто ведёт на карту новостей или справки. Откройте все. - HTML вместо XML. 11 сайтов, среди них Walmart, Wikipedia и Pinterest, на обычный запрос отдали HTML вместо карты. Это защита от ботов, а не отсутствие карты: откройте адрес в браузере.
- Сжатый файл
.gz. У Target, NYTimes и Airbnb карта сжата gzip. Браузер не покажет её, а скачает: файл нужно распаковать. - Карта на другом хосте. У NPR она лежит на googlecrawl.npr.org, у Cleveland Clinic — на my.clevelandclinic.org, у Zillow — на mortgageapi.zillow.com. Скрипт, который отбрасывает чужие хосты, такую карту потеряет.
- Индекс вместо адресов. В индексе адреса карт, а не страниц: 28 315 у Medium — это число дочерних карт. Считайте страницы в дочерних файлах.
Кому это не нужно и где границы замера
Если сайт ваш и подключён к Search Console, искать карту не нужно: отчёт «Файлы Sitemap» покажет и адрес, и дату последнего чтения. Разведка по картам нужна, когда сайт чужой или когда вам достался сайт без документации.
Границы моих цифр:
- Крупные сайты США закрываются от скриптов. Поэтому robots.txt прочитан у 82 из 100, а читаемая карта найдена у 58. Среди остальных у 29 карта не нашлась, 11 отдали HTML, у 2 был другой ответ.
- Сырой ответ без JavaScript, юзер-агент Chrome, а не Googlebot. Роботу Googlebot сайт может отдать другое.
- Наличие тега, а не точность даты. Верна ли дата в
lastmod, я не проверял. - Карта показывает намерение сайта. Страница может быть в карте и не быть в индексе, и наоборот; с индексом Google я ничего не сверял.
- Один день. Замер сделан 17 ноября 2026 года, а сайты меняют robots.txt и карты.
Если хотите, чтобы карту, robots.txt и сканирование вашего сайта проверили вместе, я делаю это в рамках технического SEO-аудита.
Материалы к статье
Под статьёй лежат скрипт sitemap-finder, шпаргалка с порядком поиска, адресами, оператором site: и отчётом Search Console, а также датасет: CSV по 100 крупным сайтам под лицензией CC BY 4.0 вместе со скриптом замера.
