Обсудить проект

Как найти карту сайта: sitemap любого сайта за минуту

Как найти карту сайта, свою или чужую: сначала robots.txt, потом типовые адреса. В моём замере 100 крупных сайтов США /sitemap.xml сработал только у 27.

Владислав Криворучко — основатель ADLAB
Vladislav Krivorutško

17 ноября 2026 г. · 12 мин чтения

Ролик на английском языке, канал ADLAB. Открыть на YouTube

Содержание
  1. 01Как найти карту сайта: короткий ответ
  2. 02Что такое карта сайта и какую искать
  3. 03Карта сайта в robots.txt против угадывания адреса
  4. 04Если строки Sitemap нет: где находится sitemap.xml
  5. 05Как посмотреть карту сайта конкурента
  6. 06Проверка за минуту
  7. 07Ошибки, на которых я спотыкаюсь чаще всего
  8. 08Кому это не нужно и где границы замера
  9. 09Материалы к статье
  10. Проверьте себя
  11. Материалы к ролику

TL;DR — коротко о главном

  1. 1Карту сайта ищите сначала в robots.txt: строки, которые начинаются с Sitemap:, прямо указывают на файлы Sitemap, и способ работает и для своего сайта, и для чужого
  2. 217 ноября 2026 года я проверил 100 крупных сайтов США: robots.txt указывал на карту у 69, а адрес /sitemap.xml отдал настоящую карту только у 27
  3. 3Из 69 сайтов со строкой в robots.txt у 44 адрес /sitemap.xml читаемую карту не отдал, а у 39 не сработал ни один из шести типовых адресов
  4. 4Открывайте все строки Sitemap:, а не только первую: у 45 из 69 сайтов их больше одной, и первая часто ведёт на карту новостей или справки
  5. 5Внутри смотрите на адреса и lastmod; priority и changefreq Google не использует, а карта не гарантирует, что страницы попадут в индекс

Как найти карту сайта: короткий ответ

Откройте адрес-сайта/robots.txt и найдите строки, которые начинаются с Sitemap:. В них сайт сам указывает свои файлы Sitemap. Способ работает и для своего сайта, и для чужого, а угадывать адреса вроде /sitemap.xml стоит, только если такой строки нет.

Порядок важен. 17 ноября 2026 года я проверил 100 крупных сайтов США: адрес /sitemap.xml отдал настоящую карту у 27 из них, а robots.txt указывал на карту у 69. Ниже разберу, какую карту искать, где находится sitemap.xml, если robots.txt молчит, как посмотреть карту сайта конкурента и на каких ошибках я спотыкаюсь чаще всего.

Что такое карта сайта и какую искать

Под картой сайта здесь я понимаю XML-файл со списком адресов, который сайт готовит для поисковых систем. Рядом с адресом часто стоит дата последнего изменения lastmod. В справке Google о файлах Sitemap его описывают как файл с информацией о страницах, видео и других файлах сайта. HTML-страница «Карта сайта» из подвала сделана для людей, и по ней не видно, что сайт отдаёт поисковику.

Что нашлиКак выглядит внутриЧто с этим делать
Файл Sitemap (urlset)Список <loc> с адресами страниц, иногда с <lastmod>Считать адреса, смотреть даты
Индексный файл Sitemap (sitemapindex)Список <loc> с адресами других файлов SitemapОткрывать дочерние карты
HTML-страница «Карта сайта»Обычная страница со ссылкамиДля разведки почти бесполезна

У крупного сайта первым чаще всего попадается индекс. Из 58 сайтов, где я нашёл читаемую карту, у 46 это был индексный файл, и только у 12 — одна карта. Рекорд у Medium: 28 315 адресов дочерних карт в одном индексе. Так и задумано: по руководству Google один файл Sitemap вмещает до 50 МБ без сжатия или 50 000 URL, а сайт покрупнее делит карту на части и объединяет их индексным файлом.

Если карту нужно не найти, а сделать, загляните в статью sitemap.xml и robots.txt: настройка: там разобрано, как создать sitemap и подключить его. Здесь речь только о поиске и чтении.

Карта сайта в robots.txt против угадывания адреса

Сначала о методе, чтобы замер можно было повторить. Сайты те же, что в моём замере микроразметки: 100 крупных сайтов США в 8 группах (ритейл 20, новости 20, рецепты 10, справочные 10, путешествия 10, локальные сервисы 10, технологии 10, медиа 10). 17 ноября 2026 года скрипт на Python запросил у каждого сайта robots.txt, выписал строки Sitemap: и проверил шесть типовых адресов. Запросы обычные: юзер-агент Chrome, язык en-US, переход по редиректам разрешён, JavaScript не выполняется. Первую найденную карту скрипт открывал и записывал её тип, сжатие, число тегов <loc> и наличие lastmod, priority и changefreq.

Первое, что выяснилось: доступ есть не везде. robots.txt удалось прочитать у 82 сайтов из 100, у остальных 18 сработала защита от ботов, пришёл ответ 404 или вместо файла отдалось что-то другое. Строку Sitemap: содержали 69 из этих 82, то есть 84 %.

Угадывание адреса против robots.txt/sitemap.xml отдаёт карту27 из 100robots.txt указывает на карту69 из 100У 44 из этих 69 адрес /sitemap.xmlчитаемую карту не отдал
Мой замер 17 ноября 2026 года: 100 крупных сайтов США, обычный запрос без JavaScript; у 18 сайтов robots.txt прочитать не удалось, они посчитаны как «нет».
Где искалиСайтов из 100Что важно знать
Строка Sitemap: в robots.txt69Из 82 сайтов с читаемым robots.txt
/sitemap.xml27Отдал настоящую карту, а не заглушку
/sitemap_index.xml6Считается отдельно от остальных адресов
/sitemaps/sitemap.xml5Считается отдельно
/wp-sitemap.xml3Встроенная карта WordPress
/sitemap.xml.gz и /sitemap-index.xmlпо 2Считается отдельно
Любой из шести типовых адресов32У одного сайта могут работать несколько

Угадывание проигрывает даже там, где карту никто не прячет. Из 69 сайтов со строкой в robots.txt у 44 адрес /sitemap.xml читаемую карту не отдал, а у 39 не сработал ни один из шести адресов. Обратных случаев мало: только угадыванием, без строки в robots.txt, карта нашлась у двух сайтов — HubSpot и Shopify.

Для Google это штатный способ. Строку Sitemap: можно поставить в любом месте robots.txt, строк может быть несколько, и Google найдёт карту при следующем обходе файла. Отдельно я прогнал тем же скриптом 30 сайтов из ниш кредитов и казино: строка Sitemap: нашлась в 22 из 24 читаемых robots.txt, а /sitemap.xml сработал у 17. Что делает Google, если robots.txt отвечает редиректом или ошибкой, я разобрал в статье про robots.txt с редиректом, 404 или 5xx.

Если строки Sitemap нет: где находится sitemap.xml

У 13 из 82 сайтов с читаемым robots.txt строки Sitemap: не было. Это ещё не значит, что карты нет. Если sitemap.xml не найден по привычному адресу, я проверяю по порядку:

  1. Типовые адреса. /sitemap.xml, /sitemap_index.xml, /sitemap-index.xml, /wp-sitemap.xml (встроенная карта WordPress), /sitemaps/sitemap.xml, /sitemap.xml.gz. Код ответа 200 ещё ничего не доказывает: смотрите, что внутри — <urlset> или <sitemapindex>.
  2. Поиск Google. Запрос site:домен sitemap иногда показывает проиндексированный файл карты. Способ грубый: пустая выдача не означает, что карты нет.
  3. Если сайт ваш. В Search Console откройте отчёт «Файлы Sitemap»: там видно, какие карты отправлены и когда Google их читал. В CMS карту обычно создаёт плагин или встроенная функция, а её адрес указан в настройках.

Карты может не быть совсем, и это допустимо. Google в той же справке о файлах Sitemap пишет, что небольшому сайту с хорошими внутренними ссылками она может не понадобиться. Узнать карту сайта такого размера проще всего по меню и перелинковке.

Как посмотреть карту сайта конкурента

Маршрут был один и тот же у каждого из 58 крупных сайтов с читаемой картой: от robots.txt к индексу, от индекса к дочерним картам, от них к адресам и датам.

Маршрут от robots.txt до адресов страницrobots.txtстроки Sitemap: · у 69 из 100 сайтовИндексный файл Sitemapsitemapindex · у 46 из 58 читаемыхДочерние картытовары, статьи, категорииАдреса страниц + lastmodlastmod есть у 32 из 58
Мой замер 17 ноября 2026 года, 100 крупных сайтов США. Доли индексов и lastmod посчитаны от 58 сайтов, где нашлась читаемая карта.

Откройте все строки Sitemap:. У 45 из 69 сайтов строк больше одной, у Booking.com их 443. Первая строка часто ведёт не на главную карту: у NYTimes, CNN, The Guardian и The Verge это карта новостей, у Nike — карта справки, у Angi — карта статей.

Из индекса идите в крупнейшую дочернюю карту. По её имени обычно понятно, что внутри (у Medium дочерних карт 28 315): товары, категории, статьи. По числу адресов в ней можно прикинуть размер раздела.

Отсортируйте адреса по lastmod. Сверху окажется то, что сайт менял в последние дни: новые товары, переписанные статьи, свежие категории. Дата есть не везде: в замере lastmod нашёлся в 32 картах из 58. По руководству Google, lastmod учитывается, только если значение стабильно точное и это можно проверить; смена года в подвале обновлением страницы не считается.

priority и changefreq пропускайте. Google эти значения игнорирует. В замере priority встретился у 2 карт из 58 (Nike и HubSpot), changefreq — у 3 (Nike, HubSpot и The Guardian); для меня это след старого плагина. Оговорка: скрипт проверял наличие тега в первом открытом файле, а первым был файл из первой строки robots.txt, поэтому у NYTimes или Nike в главной карте картина может быть другой.

Моё мнение, а не факт из замера: карта показывает, какие страницы сайт хочет видеть в индексе, но не то, какие из них ранжируются. Google сам пишет, что файл Sitemap не гарантирует сканирование и индексацию всех адресов в нём. Если в карте конкурента стоят страницы с noindex, он сам себе противоречит; чем это плохо, я объяснял в статье noindex или robots.txt.

Проверка за минуту

Пять команд для терминала; вместо сайт.com подставьте нужный домен.

  1. Строки в robots.txt: curl -s https://сайт.com/robots.txt | grep -i '^sitemap:'
  2. Что лежит по адресу: curl -sL https://сайт.com/sitemap.xml | head -c 300. Нужен <urlset или <sitemapindex; <html означает заглушку.
  3. Сжатая карта: curl -sL https://сайт.com/sitemap.xml.gz | gunzip | head -c 300
  4. Сколько адресов: curl -sL URL-карты | grep -o '<loc>' | wc -l. Считайте вхождения, а не строки: многие карты записаны одной строкой.
  5. Самые свежие даты: curl -sL URL-карты | grep -o '<lastmod>[^<]*' | sort -r | head

Когда доменов больше пары, я запускаю скрипт sitemap-finder: он принимает список доменов и для каждого записывает в CSV найденную карту, способ (robots.txt или типовой адрес), индекс это или нет, число адресов и наличие lastmod, priority и changefreq.

Ошибки, на которых я спотыкаюсь чаще всего

Все примеры взяты из того же замера 17 ноября 2026 года. Почти каждая из этих ошибок создаёт впечатление, что у сайта нет карты, хотя она есть.

  • Только первая строка Sitemap:. У 45 из 69 сайтов строк несколько, и первая часто ведёт на карту новостей или справки. Откройте все.
  • HTML вместо XML. 11 сайтов, среди них Walmart, Wikipedia и Pinterest, на обычный запрос отдали HTML вместо карты. Это защита от ботов, а не отсутствие карты: откройте адрес в браузере.
  • Сжатый файл .gz. У Target, NYTimes и Airbnb карта сжата gzip. Браузер не покажет её, а скачает: файл нужно распаковать.
  • Карта на другом хосте. У NPR она лежит на googlecrawl.npr.org, у Cleveland Clinic — на my.clevelandclinic.org, у Zillow — на mortgageapi.zillow.com. Скрипт, который отбрасывает чужие хосты, такую карту потеряет.
  • Индекс вместо адресов. В индексе адреса карт, а не страниц: 28 315 у Medium — это число дочерних карт. Считайте страницы в дочерних файлах.

Кому это не нужно и где границы замера

Если сайт ваш и подключён к Search Console, искать карту не нужно: отчёт «Файлы Sitemap» покажет и адрес, и дату последнего чтения. Разведка по картам нужна, когда сайт чужой или когда вам достался сайт без документации.

Границы моих цифр:

  • Крупные сайты США закрываются от скриптов. Поэтому robots.txt прочитан у 82 из 100, а читаемая карта найдена у 58. Среди остальных у 29 карта не нашлась, 11 отдали HTML, у 2 был другой ответ.
  • Сырой ответ без JavaScript, юзер-агент Chrome, а не Googlebot. Роботу Googlebot сайт может отдать другое.
  • Наличие тега, а не точность даты. Верна ли дата в lastmod, я не проверял.
  • Карта показывает намерение сайта. Страница может быть в карте и не быть в индексе, и наоборот; с индексом Google я ничего не сверял.
  • Один день. Замер сделан 17 ноября 2026 года, а сайты меняют robots.txt и карты.

Если хотите, чтобы карту, robots.txt и сканирование вашего сайта проверили вместе, я делаю это в рамках технического SEO-аудита.

Материалы к статье

Под статьёй лежат скрипт sitemap-finder, шпаргалка с порядком поиска, адресами, оператором site: и отчётом Search Console, а также датасет: CSV по 100 крупным сайтам под лицензией CC BY 4.0 вместе со скриптом замера.

Тест

Проверьте себя

Несколько вопросов по статье. Ответ и разбор появляются сразу после выбора, ответы никуда не отправляются.

0/4

отвечено

  1. 1.Где искать карту чужого сайта в первую очередь?
  2. 2.Что такое индексный файл Sitemap?
  3. 3.Какие теги карты сайта Google не использует?
  4. 4.В robots.txt нет строки Sitemap:. Что делать?

ADLAB · файлы к ролику

Материалы к ролику

Скрипты, промты, шаблоны и данные, которые показаны в ролике. Файлы на английском: текстовые открываются как обычный текст, архив собирает все файлы одного материала.

  1. 01Данные6 файлов · 25 KB · CC-BY-4.0

    Крупные сайты и карты сайта: где их держат 100 сайтов США (данные, 2026-11-17)

    У 100 крупных сайтов США robots.txt указывает на карту у 69, а /sitemap.xml работает у 27. CSV по 100 сайтам, CC BY 4.0, со скриптом замера и разбора.

    Состав · 6 файлов
    • big-sites-sitemaps-2026.csv

      Строка на сайт: robots.txt, строки Sitemap, первая карта, индекс или нет, число адресов, lastmod, priority, changefreq

      9.5 KB
    • analyze.py

      Python 3.8+, только стандартная библиотека; воспроизводит все числа на этой странице, с офлайн-самопроверкой

      5.0 KB
    • measure.py

      Повторяет замер на вашем списке сайтов (requests)

      4.1 KB
    • sites.txt

      100 сайтов с категорией автора

      1.8 KB
    • requirements.txt

      Один пакет для measure.py

      15 B
    • README.md

      Результаты, методика, колонки, ограничения, как повторить, как цитировать

      5.0 KB
  2. 02Скрипт5 файлов · 15 KB · MIT

    Скрипт поиска карты сайта: sitemap по списку доменов

    Скрипт на Python: по списку доменов сначала читает robots.txt, потом пробует шесть адресов и пишет строку CSV: где карта, индекс ли это, число адресов, есть ли lastmod.

    Состав · 5 файлов
    • README.md

      Запуск в 3 шага, колонки CSV, подводные камни (первая карта не всегда главная), Tested on

      4.4 KB
    • sitemap_finder.py

      Сам поиск: Python 3.8+, один пакет (requests), с офлайн-самопроверкой из 17 проверок

      10 KB
    • requirements.txt

      requests>=2.31, ставится в виртуальное окружение

      15 B
    • domains.sample.txt

      5 публичных доменов крупных сайтов, чтобы увидеть результат

      110 B
    • sample-output.csv

      Что дал пробный запуск 2026-11-17

      612 B
  3. 03Чек-лист2 файла · 6.9 KB · CC-BY-4.0

    Шпаргалка: где искать карту сайта, адреса и значения тегов

    Шпаргалка на одну страницу: порядок поиска карты сайта, шесть адресов с числом попаданий, умолчания платформ, что Google делает с lastmod, priority и changefreq, лимиты и ловушки.

    Состав · 2 файла
    • sitemap-where-to-look-cheat-sheet.md

      Порядок поиска, шесть адресов и число попаданий, умолчания платформ, значения тегов, лимиты, ловушки, проверка своего сайта за минуту

      5.6 KB
    • README.md

      3 шага и что проверить, прежде чем на это полагаться

      1.2 KB

Частые вопросы

Как найти карту сайта любого сайта?
Допишите к адресу сайта /robots.txt и найдите строки, которые начинаются с Sitemap:. В них сайт сам указывает свои файлы Sitemap. В моём замере 100 крупных сайтов США такие строки были у 69, а у 45 из них строк больше одной, поэтому откройте каждую. Если строк нет, проверьте типовые адреса вроде /sitemap.xml и /sitemap_index.xml.
Где находится sitemap.xml?
Обычно в корне сайта, но адрес может быть любым: Google разрешает называть файл как угодно и сообщать о нём строкой Sitemap: в robots.txt. В моём замере /sitemap.xml отдал настоящую карту у 27 крупных сайтов из 100. Бывает, что карта лежит на другом хосте: у NPR это googlecrawl.npr.org, у Zillow — mortgageapi.zillow.com.
Что делать, если sitemap.xml не найден?
Сначала проверьте robots.txt: у 44 из 69 сайтов со строкой Sitemap: адрес /sitemap.xml читаемую карту не отдал, хотя карта у них есть. Затем попробуйте /sitemap_index.xml, /sitemap-index.xml, /wp-sitemap.xml, /sitemaps/sitemap.xml и /sitemap.xml.gz. Для своего сайта откройте в Search Console отчёт «Файлы Sitemap». Карты может и не быть: Google пишет, что небольшому сайту с хорошими внутренними ссылками она может не понадобиться.
Как посмотреть карту сайта конкурента?
Так же, как свою: robots.txt, строки Sitemap:, затем индексный файл и дочерние карты. Откройте крупнейшую дочернюю карту, посчитайте адреса и отсортируйте их по lastmod, чтобы увидеть, что менялось в последние дни. Это показывает, какие страницы конкурент хочет видеть в индексе, но не то, какие из них ранжируются.
Учитывает ли Google priority и changefreq в карте сайта?
Нет. В руководстве Google сказано, что значения priority и changefreq он игнорирует. lastmod Google использует, если значение стабильно точное и это можно проверить, а смена даты в подвале сайта обновлением страницы не считается. В моём замере priority нашёлся только у 2 из 58 читаемых карт: у Nike и HubSpot.
Гарантирует ли карта сайта индексацию страниц?
Нет. Google прямо пишет, что файл Sitemap не гарантирует сканирование и индексацию всех адресов в нём. Страница может быть в карте и не быть в индексе, и наоборот. Поэтому по карте конкурента видно намерение сайта, а не его позиции.
Владислав Криворучко — основатель ADLAB

Автор статьи

Владислав Криворучко

Основатель ADLAB OÜ · SEO и Google Ads

Больше 20 лет в поисковом трафике и монетизации, на эстонском рынке — с 2017 года. Работаю один: сам провожу аудит, строю стратегию и веду проекты — без подрядчиков и шаблонов. Пишу только о том, что проверил на своих и клиентских сайтах.

  • 20+ лет в поисковом трафике
  • 50+ проектов под ключ
  • Собственные сайты в конкурентных нишах
  • SEO для ru/et/en в одной выдаче
Подробнее обо мне

Выводы

Карта сайта чаще всего указана в robots.txt, и начинать поиск стоит с него, а не с перебора адресов. В моём замере robots.txt указывал на карту у 69 сайтов из 100, а /sitemap.xml сработал у 27; только угадыванием адреса карта нашлась у двух сайтов — HubSpot и Shopify. Дальше откройте все строки Sitemap:, затем индексный файл, затем крупнейшую дочернюю карту и отсортируйте адреса по lastmod. Помните, что карта показывает, какие страницы сайт хочет видеть в индексе, а не какие из них ранжируются. Если хотите, чтобы карту, robots.txt и сканирование вашего сайта проверили вместе, я делаю это в рамках технического SEO-аудита.

Читать дальше