Обсудить проект

Как закрыть страницу от индексации: noindex или robots.txt

Чтобы страница не попала в Google, ставьте noindex на открытую страницу. Одного robots.txt мало. 16 ноября 2026 года я проверил 100 крупных сайтов США.

Владислав Криворучко — основатель ADLAB
Vladislav Krivorutško

16 ноября 2026 г. · 13 мин чтения

Ролик на английском языке, канал ADLAB. Открыть на YouTube

Содержание
  1. 01Короткий ответ
  2. 02Три инструмента, которые звучат похоже
  3. 03Что делают 100 крупных сайтов США
  4. 04Конфликт: robots.txt плюс noindex
  5. 05Что выбрать
  6. 06Проверка одной страницы за минуту
  7. 07Ошибки, которые я вижу чаще всего
  8. 08Когда robots.txt всё же правильный инструмент
  9. Проверьте себя
  10. Материалы к ролику

TL;DR — коротко о главном

  1. 1Чтобы обычная страница не попала в Google, поставьте на неё noindex (мета-тег, а для PDF и картинки заголовок X-Robots-Tag) и оставьте её открытой для сканирования
  2. 2robots.txt запрещает Google открывать страницу, но не запрещает показывать адрес: по словам Google, закрытая страница всё равно может попасть в выдачу, например если на неё ссылаются другие страницы
  3. 3Страница, закрытая в robots.txt и с noindex, не работает: Google не открывает её и не читает тег
  4. 416 ноября 2026 года я проверил 100 крупных сайтов США: 42 показали служебную страницу на обычный запрос, 23 из этих 42 закрывают её в robots.txt, и у 8 из 23 ещё стоит noindex
  5. 5Личная страница: вход по паролю. Удалённая: 404 или 410. Утекло сегодня: инструмент удаления в Search Console и исправление причины, потому что блокировка держится около полугода

Короткий ответ

Чтобы страница не попала в Google, поставьте на неё noindex и оставьте её открытой для сканирования. Для обычной страницы это мета-тег, для PDF и картинки заголовок X-Robots-Tag. Строка Disallow в robots.txt это другой инструмент: она запрещает Google открывать страницу, и Google пишет, что закрытая страница всё равно может появиться в выдаче, например если на неё ссылаются другие страницы.

Хуже всего, когда на одной странице стоит и то и другое. 16 ноября 2026 года я проверил, что 100 крупных сайтов США делают со страницами поиска, корзины, входа и аккаунта. Одну из этих страниц мне показали 42 сайта. 23 из 42 опираются на robots.txt, а у 8 из этих 23 на странице ещё стоит noindex, который Google не прочитает, потому что не откроет страницу. Ниже: что делает каждый инструмент, цифры, проверка за минуту и ошибки, которые я вижу чаще всего.

Три инструмента, которые звучат похоже

ИнструментЧто говорит GoogleМожет ли страница всё равно попасть в выдачуДля чего
Disallow в robots.txtНе открывай этот адресДа, например если на неё ссылаются другие страницыЭкономить сканирование на бесконечных адресах
noindex (мета-тег или заголовок)Открой, прочитай, не показывайНет: прочитав правило, Google целиком убирает страницуСтраницы, которые людям открывать можно, а в выдаче показывать нет
Вход или парольБез данных для входа не пускаемGoogle не прочитает то, что не может открытьВсё личное

В руководстве Google robots.txt назван не способом убрать страницу из Google, и там же названы два выхода: noindex или пароль. Разница в одной строке: robots.txt это табличка на двери, noindex это записка в комнате. Кто послушался таблички, записку не прочитает.

Что делают 100 крупных сайтов США

Метод, чтобы вы могли повторить. Сайты те же 100 крупных сайтов США в 8 группах, что в моём замере микроразметки. 16 ноября 2026 года скрипт запросил robots.txt каждого сайта и четыре служебных адреса: внутренний поиск (/search?q=test), /cart, /login и /account. Это обычный GET с юзер-агентом Chrome, без JavaScript. Для каждого адреса записаны три вещи: HTTP-статус, закрыт ли конечный адрес в robots.txt для Googlebot и стоит ли noindex в заголовке X-Robots-Tag или в мета-теге robots.

Первая находка про доступ, а не про индексацию: 58 из 100 сайтов не показали мне ни одной служебной страницы. Из 400 запросов 139 закончились ответом 404, 94 ответом 403, 16 ответом 202, 13 ответом 429, а 20 не получили ответа. Крупные сайты закрываются от скриптов. Всё ниже относится к 42 сайтам, которые ответили настоящей страницей.

Как 42 крупных сайта закрывают служебные страницы от GoogleОткрыта + noindex (по документации)11 · 26%Открыта, ничего не задано8 · 19%Закрыта только в robots.txt15 · 36%Закрыта + noindex (конфликт)8 · 19%Сайты из 42 с читаемой служебнойстраницей; зелёный: способ из документации
Мой замер 16 ноября 2026 года: 100 крупных сайтов США, по 4 служебных адреса, обычный запрос без JavaScript. Сайт отнесён к самой «тяжёлой» категории среди его читаемых страниц.
  • 11 сайтов делают по документации: страница открыта для сканирования и несёт noindex. На страницах поиска Healthline, WebMD, Investopedia и NPR я нашёл именно это.
  • 8 сайтов не делают ничего: страница открыта, noindex нет.
  • 15 сайтов опираются только на robots.txt. Reddit закрывает поиск, корзину, вход и аккаунт для всех роботов, и ни на одной из четырёх страниц я не нашёл noindex. Target закрывает корзину, CNN, Fox News, Wired, BBC и GitHub закрывают поиск.
  • 8 сайтов делают и то и другое: закрывают страницу в robots.txt и ставят на неё noindex. Sephora, NBC News, Delish, Medium, Pinterest, CBS News, CNBC и The Verge, везде на странице поиска.

Сложите две последние группы: 23 из 42 (55%) держат служебные страницы за правилом robots.txt. Если смотреть только страницы поиска, картина жёстче: 21 из 32 читаемых страниц поиска закрыты в robots.txt, а все 11 открытых несут noindex.

Поправка к моему же подсчёту. В первый раз в тот же день я прочитал robots.txt стандартным парсером Python и получил 14 из 42. Этот парсер не понимает * и $ в правилах, теряет группу, если после строки User-agent идёт пустая строка, и не объединяет несколько групп одного робота. Я пересчитал по правилам Google (побеждает самое длинное правило, группы объединяются, маски работают) на файлах robots.txt, прочитанных заново в тот же день. Пересчёт сдвинул 9 сайтов и дал цифры выше. Оба вердикта лежат в датасете.

Две оговорки. Закрыть страницу поиска в robots.txt бывает осознанным решением: страниц поиска бесконечно много, и правило экономит сканирование. Я не говорю, что эти команды небрежны; я говорю, что правило не обещает убрать страницу из выдачи. И я не проверял, есть ли названные страницы в индексе Google: это замер настроек.

Конфликт: robots.txt плюс noindex

Возьмём Medium. 16 ноября 2026 года его robots.txt закрывал для всех роботов поиск с запросом, а на самой странице поиска стоял тег noindex:

$ curl -s https://medium.com/robots.txt | grep -i search
Disallow: /search?q$
Disallow: /search?q=
Disallow: /*/search?q=
Disallow: /*/search/*?q=

$ curl -s "https://medium.com/search?q=test" | grep -o '<meta name="robots"[^>]*>'
<meta name="robots" content="noindex"/>

16 ноября 2026 года мой скрипт увидел этот тег, потому что не подчиняется robots.txt. Google подчиняется: перед тем как открыть страницу, он проверяет файл, находит правило Disallow выше и останавливается.

Почему noindex не читается на закрытой страницеGooglebot хочет /search?q=testШаг 1: читает robots.txtDisallow: /search?q=Стоп: страница не открывается<meta name="robots" content="noindex">Тег на месте. Читать его некому.
Порядок событий для страницы, закрытой в robots.txt и с noindex. По документации Google: если страница закрыта в robots.txt, робот никогда не увидит правило noindex.

В справке Google по отчёту об индексации это сказано прямо: правило в robots.txt не даёт Google увидеть noindex. Получается, что второй замок висит на двери, которую никто не открывает, и итог такой же, как без noindex. Если на адрес ссылаются другие страницы, он может попасть в выдачу, и Search Console покажет его со статусом «Проиндексировано, несмотря на блокировку в файле robots.txt»; Google советует в этом случае убрать блокировку и поставить noindex.

Для страницы поиска это обходится дёшево: все 8 найденных конфликтов стоят на страницах поиска, а в выдаче от них всё равно нет пользы. Тот же приём на странице, которая важна (старая рекламная страница, черновик, страница «спасибо»), оставляет её такой же заметной, как раньше, а тот, кто поставил тег, уверен, что страница скрыта.

Что выбрать

Ваша цельЧто использоватьЧто не использовать
Страница, которую людям открывать можно, а Google показывать нетМета-тег noindex, страница открыта для сканированияСтроку Disallow
PDF, картинка или видеоЗаголовок X-Robots-Tag: noindex у файлаМета-тег (нет HTML, чтобы его поставить)
Личная страница: аккаунт, черновик, тестовый сайтВход или парольТолько noindex или только robots.txt
Страница удалена навсегдаОтвет 404 или 410Страницу с ответом 200 и текстом «не найдено» или редирект на главную
Утекло, и убрать надо сегодняИнструмент удаления в Search Console, затем один из способов вышеОдин только инструмент
Сэкономить сканирование на бесконечных адресахПравило DisallowНадежду, что оно скроет страницы
Уже в индексе, должна уйтиОставить открытой, поставить noindex, дождаться пересканирования, блокировать позже, если хочетсяБлокировать первым делом

Последняя строка это мой порядок работы, а не рецепт Google: закрытую страницу нельзя пересканировать, поэтому тег так и не прочитают. Остальное следует документации Google, а в шпаргалке под статьёй та же таблица с цитатами и шаблонами для Apache и nginx под PDF.

Про инструмент удаления Google пишет прямо: успешный запрос действует только около полугода. Чтобы убрать страницу насовсем, нужны 404 или 410, пароль или тег noindex. Про удалённые страницы мой разбор 404, 410 или редирект объясняет, какой ответ отдавать и почему редирект на главную считается мягкой ошибкой 404.

Проверка одной страницы за минуту

  1. Заголовок. curl -s -D - -o /dev/null https://ваш-сайт/страница и ищите x-robots-tag. Это запрос GET, и это важно: некоторые серверы отвечают на HEAD (curl -I) иначе, чем на GET.
  2. Мета-тег. Откройте исходный код страницы и найдите noindex или выполните curl -s https://ваш-сайт/страница | grep -io '<meta name="robots"[^>]*>'. Считаются только теги с именем robots и googlebot.
  3. robots.txt. Откройте https://ваш-сайт/robots.txt и найдите правило, под которое попадает страница. * и $ работают, и побеждает самое длинное подходящее правило.
  4. Нашлось и то и другое? Это конфликт. Уберите правило из robots.txt, тег оставьте.
  5. Взгляд самого Google. В Search Console проверка URL показывает «Индексирование разрешено?» и называет noindex, если дело в нём.

Когда страниц больше десятка, я использую скрипт: проверка индексации принимает список адресов и возвращает по одному вердикту на адрес, а для сочетания выше выдаёт conflict. Правила robots.txt он разбирает по Google, а не стандартным парсером Python.

Ошибки, которые я вижу чаще всего

  • noindex как защита. Страница с noindex скрыта от выдачи, но не от людей: по ссылке её откроет любой, а сам Google называет noindex менее надёжным способом, чем пароль или ответ 404. Тестовому сайту место за паролем; как это сделать, я описал в статье тестовая среда без Disallow: /.
  • canonical вместо noindex. Тег canonical подсказывает, какую из копий оставить, а не просит убрать страницу. Как Google к нему относится, написано в статье про canonical.
  • Живая страница с текстом «не найдено» вместо ответа 404. Удалённая страница, которая отвечает 200, это мягкая ошибка 404: текст говорит, что её нет, а сервер уверяет, что всё в порядке. Отдавайте 404 или 410.
  • Включённая настройка WordPress. Галочка «Попросить поисковые системы не индексировать сайт» нужна на время разработки; оставленная после запуска, она просит поисковики пропустить весь сайт. После запуска откройте исходный код страницы и /robots.txt живого сайта и найдите noindex и Disallow: /.
  • Страницы с noindex в карте сайта. Карта сайта говорит «индексируйте это», страница с noindex говорит обратное. Уберите их; правила есть в статье про sitemap.xml и robots.txt.

Когда robots.txt всё же правильный инструмент

Если цель в том, чтобы сэкономить нагрузку на сервер от бесконечных адресов, например комбинаций фильтров или результатов внутреннего поиска, robots.txt делает именно это. В моём замере его так используют 23 сайта из 42, и не у всех это ошибка. Тогда примите, что адрес всё равно может появиться в выдаче, и решите, важно ли вам это. Для страниц поиска это решение разобрано в статье про внутренний поиск по сайту, а когда экономия вообще имеет смысл, объясняет краулинговый бюджет: на сайте в несколько тысяч страниц обычно не имеет.

Кому это не нужно: если ни одной из 4 служебных страниц, которые я проверял (поиск, корзина, вход, аккаунт), на вашем сайте нет или они не попадают в поиск, чинить тут нечего. А если у страницы уже стоит вход по паролю, noindex на ней безвреден, но лишний.

Границы моих цифр:

  • Только 42 сайта, которые ответили. Крупные сайты закрываются от скриптов, поэтому 42 это сайты, которые отдают HTML незнакомому клиенту. Доли не равны доле крупных сайтов вообще.
  • Исходный HTML. noindex, который скрипт дописывает после загрузки, я не видел, поэтому доля noindex это нижняя оценка.
  • Chrome, а не Googlebot. Сайт может отдавать Googlebot другой robots.txt или другую страницу. Ни одну страницу я не сверял с индексом Google и Search Console.
  • Один день. 16 ноября 2026 года, robots.txt перечитан в тот же день. Эти файлы сайты меняют.

Если хотите, чтобы robots.txt, noindex и настройки сканирования вашего сайта проверили вместе, я делаю это в рамках технического SEO-аудита.

Тест

Проверьте себя

Несколько вопросов по статье. Ответ и разбор появляются сразу после выбора, ответы никуда не отправляются.

0/4

отвечено

  1. 1.Что делает строка Disallow в robots.txt?
  2. 2.Почему noindex не срабатывает на странице, закрытой в robots.txt?
  3. 3.Как закрыть PDF от индексации?
  4. 4.Страница утекла, и из выдачи её нужно убрать сегодня. Что сделать в первую очередь?

ADLAB · файлы к ролику

Материалы к ролику

Скрипты, промты, шаблоны и данные, которые показаны в ролике. Файлы на английском: текстовые открываются как обычный текст, архив собирает все файлы одного материала.

  1. 01Данные6 файлов · 64 KB · CC-BY-4.0

    Как 100 крупных сайтов США закрывают служебные страницы от Google (данные, 2026-11-16)

    Из 100 крупных сайтов США служебную страницу показали 42: 23 закрывают её в robots.txt, 8 из них ещё и ставят noindex. CSV на 400 проб, CC BY 4.0, со скриптами.

    Состав · 6 файлов
    • big-sites-indexing-2026.csv

      Строка на пробу: сайт, адрес, статус, конечный путь, вердикт и правило robots.txt, noindex в заголовке и meta, класс сайта

      34 KB
    • analyze.py

      Python 3.8+, только стандартная библиотека; воспроизводит все числа на этой странице, с офлайн-самопроверкой

      7.1 KB
    • measure.py

      Повторяет замер на вашем списке сайтов (requests и beautifulsoup4)

      9.5 KB
    • sites.txt

      100 сайтов с категорией автора

      1.8 KB
    • requirements.txt

      Два пакета для measure.py

      36 B
    • README.md

      Методика, поправка первого подсчёта, колонки, результаты, ограничения

      11 KB
  2. 02Скрипт6 файлов · 29 KB · MIT

    Скрипт проверки индексации: robots.txt и noindex по списку адресов

    Скрипт на Python: по списку адресов показывает вердикт robots.txt для Googlebot, noindex в заголовке и meta-теге, отмечает страницы, закрытые в robots.txt и с noindex.

    Состав · 6 файлов
    • README.md

      Запуск в 3 шага, семь вердиктов, колонки CSV, как разбирается robots.txt, подводные камни, Tested on

      7.4 KB
    • indexing_check.py

      Сама проверка: Python 3.8+, один пакет (requests), с офлайн-самопроверкой из 33 проверок

      17 KB
    • requirements.txt

      requests>=2.31, ставится в виртуальное окружение

      15 B
    • urls.sample.txt

      7 публичных адресов крупных сайтов с вердиктами на 2026-11-16

      785 B
    • urls.demo.txt

      9 локальных адресов на каждый вердикт, для демо-сервера

      783 B
    • demo_server.py

      Крошечный локальный сайт: robots.txt, meta noindex, PDF с заголовком и 410; интернет не нужен

      2.4 KB
  3. 03Чек-лист · Шаблон2 файла · 10 KB · CC-BY-4.0

    Шпаргалка noindex или robots.txt: какой инструмент под какую цель

    Шпаргалка на одну страницу: восемь целей и инструмент под каждую (noindex, X-Robots-Tag, вход, 404/410, robots.txt), сочетания, которые гасят друг друга, готовые фрагменты и источники.

    Состав · 2 файла
    • noindex-or-robots-cheat-sheet.md

      Цель → инструмент, что нельзя сочетать, фрагменты для meta-тега и заголовка, проверка за минуту, что делают 100 крупных сайтов, источники Google

      7.8 KB
    • README.md

      3 шага и что проверить, прежде чем на это полагаться

      2.3 KB

Частые вопросы

Как закрыть страницу от индексации в Google?
Поставьте на страницу noindex: мета-тегом в HTML или заголовком X-Robots-Tag, и оставьте страницу открытой для сканирования, чтобы Google мог его прочитать. Для PDF и картинок нужен заголовок: в файле нет HTML, куда вставить тег. Если страница должна быть закрыта от людей, нужен вход по паролю: noindex скрывает страницу из выдачи, но по ссылке её откроет любой.
Достаточно ли robots.txt, чтобы страницы не было в Google?
Нет. В руководстве Google сказано, что robots.txt не предназначен для того, чтобы убрать страницу из Google. Закрытая в нём страница всё равно может появиться в выдаче, например если на неё ссылаются другие страницы. Используйте noindex на открытой странице или вход по паролю.
Можно ли ставить noindex и закрывать в robots.txt одну и ту же страницу?
Можно, но это не работает. Google проверяет robots.txt до того, как открывает страницу, поэтому на закрытой странице он noindex не увидит. В моём замере 100 крупных сайтов США у 8 из 42 сайтов, показавших служебную страницу, именно такое сочетание стояло на странице поиска. Уберите правило из robots.txt и оставьте тег.
Через сколько начинает работать noindex?
Фиксированного срока нет. Страница уходит из выдачи после того, как Google заново просканирует её и прочитает тег, то есть зависит от того, как часто он заходит именно на неё. Дату последнего сканирования показывает проверка URL в Search Console. Если нужно убрать что-то сегодня, используйте инструмент удаления и исправьте причину.
Как закрыть от индексации PDF или картинку?
Отдавайте вместе с файлом заголовок X-Robots-Tag: noindex. В документации Google есть шаблоны для Apache и nginx, которые срабатывают на все файлы .pdf или картинки сайта, а в моей шпаргалке они готовы к копированию. Проверьте результат командой curl -I: заголовок, добавленный не в тот блок, молча пропадает.
Что значит статус «Проиндексировано, несмотря на блокировку в файле robots.txt» в Search Console?
Google нашёл адрес, например по ссылкам, и добавил его в индекс, но открыть страницу не смог, потому что её закрывает robots.txt. Сам Google советует для такого статуса убрать блокировку и поставить noindex. Этот же статус выдаёт ошибку, о которой эта статья.
Владислав Криворучко — основатель ADLAB

Автор статьи

Владислав Криворучко

Основатель ADLAB OÜ · SEO и Google Ads

Больше 20 лет в поисковом трафике и монетизации, на эстонском рынке — с 2017 года. Работаю один: сам провожу аудит, строю стратегию и веду проекты — без подрядчиков и шаблонов. Пишу только о том, что проверил на своих и клиентских сайтах.

  • 20+ лет в поисковом трафике
  • 50+ проектов под ключ
  • Собственные сайты в конкурентных нишах
  • SEO для ru/et/en в одной выдаче
Подробнее обо мне

Выводы

Страница уходит из Google, когда Google может её открыть, прочитать noindex и убрать. Любой обход, будь то строка Disallow, тег canonical или пустая страница за редиректом, меняет то, что Google сканирует, но не то, что он показывает. Из 42 крупных сайтов, где я смог прочитать служебную страницу, по документации сделали только 11, а 8 закрыли страницу в robots.txt и поставили на неё тег, который Google не прочитает. Проверьте свою страницу сегодня тремя командами из статьи. Если цифры на вашем сайте похожи на мои, настройки robots.txt, noindex и сканирования я проверяю в рамках технического SEO-аудита.

Читать дальше