Короткий ответ
Чтобы страница не попала в Google, поставьте на неё noindex и оставьте её открытой для сканирования. Для обычной страницы это мета-тег, для PDF и картинки заголовок X-Robots-Tag. Строка Disallow в robots.txt это другой инструмент: она запрещает Google открывать страницу, и Google пишет, что закрытая страница всё равно может появиться в выдаче, например если на неё ссылаются другие страницы.
Хуже всего, когда на одной странице стоит и то и другое. 16 ноября 2026 года я проверил, что 100 крупных сайтов США делают со страницами поиска, корзины, входа и аккаунта. Одну из этих страниц мне показали 42 сайта. 23 из 42 опираются на robots.txt, а у 8 из этих 23 на странице ещё стоит noindex, который Google не прочитает, потому что не откроет страницу. Ниже: что делает каждый инструмент, цифры, проверка за минуту и ошибки, которые я вижу чаще всего.
Три инструмента, которые звучат похоже
| Инструмент | Что говорит Google | Может ли страница всё равно попасть в выдачу | Для чего |
|---|---|---|---|
Disallow в robots.txt | Не открывай этот адрес | Да, например если на неё ссылаются другие страницы | Экономить сканирование на бесконечных адресах |
noindex (мета-тег или заголовок) | Открой, прочитай, не показывай | Нет: прочитав правило, Google целиком убирает страницу | Страницы, которые людям открывать можно, а в выдаче показывать нет |
| Вход или пароль | Без данных для входа не пускаем | Google не прочитает то, что не может открыть | Всё личное |
В руководстве Google robots.txt назван не способом убрать страницу из Google, и там же названы два выхода: noindex или пароль. Разница в одной строке: robots.txt это табличка на двери, noindex это записка в комнате. Кто послушался таблички, записку не прочитает.
Что делают 100 крупных сайтов США
Метод, чтобы вы могли повторить. Сайты те же 100 крупных сайтов США в 8 группах, что в моём замере микроразметки. 16 ноября 2026 года скрипт запросил robots.txt каждого сайта и четыре служебных адреса: внутренний поиск (/search?q=test), /cart, /login и /account. Это обычный GET с юзер-агентом Chrome, без JavaScript. Для каждого адреса записаны три вещи: HTTP-статус, закрыт ли конечный адрес в robots.txt для Googlebot и стоит ли noindex в заголовке X-Robots-Tag или в мета-теге robots.
Первая находка про доступ, а не про индексацию: 58 из 100 сайтов не показали мне ни одной служебной страницы. Из 400 запросов 139 закончились ответом 404, 94 ответом 403, 16 ответом 202, 13 ответом 429, а 20 не получили ответа. Крупные сайты закрываются от скриптов. Всё ниже относится к 42 сайтам, которые ответили настоящей страницей.
- 11 сайтов делают по документации: страница открыта для сканирования и несёт
noindex. На страницах поиска Healthline, WebMD, Investopedia и NPR я нашёл именно это. - 8 сайтов не делают ничего: страница открыта,
noindexнет. - 15 сайтов опираются только на robots.txt. Reddit закрывает поиск, корзину, вход и аккаунт для всех роботов, и ни на одной из четырёх страниц я не нашёл
noindex. Target закрывает корзину, CNN, Fox News, Wired, BBC и GitHub закрывают поиск. - 8 сайтов делают и то и другое: закрывают страницу в robots.txt и ставят на неё
noindex. Sephora, NBC News, Delish, Medium, Pinterest, CBS News, CNBC и The Verge, везде на странице поиска.
Сложите две последние группы: 23 из 42 (55%) держат служебные страницы за правилом robots.txt. Если смотреть только страницы поиска, картина жёстче: 21 из 32 читаемых страниц поиска закрыты в robots.txt, а все 11 открытых несут noindex.
Поправка к моему же подсчёту. В первый раз в тот же день я прочитал robots.txt стандартным парсером Python и получил 14 из 42. Этот парсер не понимает * и $ в правилах, теряет группу, если после строки User-agent идёт пустая строка, и не объединяет несколько групп одного робота. Я пересчитал по правилам Google (побеждает самое длинное правило, группы объединяются, маски работают) на файлах robots.txt, прочитанных заново в тот же день. Пересчёт сдвинул 9 сайтов и дал цифры выше. Оба вердикта лежат в датасете.
Две оговорки. Закрыть страницу поиска в robots.txt бывает осознанным решением: страниц поиска бесконечно много, и правило экономит сканирование. Я не говорю, что эти команды небрежны; я говорю, что правило не обещает убрать страницу из выдачи. И я не проверял, есть ли названные страницы в индексе Google: это замер настроек.
Конфликт: robots.txt плюс noindex
Возьмём Medium. 16 ноября 2026 года его robots.txt закрывал для всех роботов поиск с запросом, а на самой странице поиска стоял тег noindex:
$ curl -s https://medium.com/robots.txt | grep -i search
Disallow: /search?q$
Disallow: /search?q=
Disallow: /*/search?q=
Disallow: /*/search/*?q=
$ curl -s "https://medium.com/search?q=test" | grep -o '<meta name="robots"[^>]*>'
<meta name="robots" content="noindex"/>
16 ноября 2026 года мой скрипт увидел этот тег, потому что не подчиняется robots.txt. Google подчиняется: перед тем как открыть страницу, он проверяет файл, находит правило Disallow выше и останавливается.
В справке Google по отчёту об индексации это сказано прямо: правило в robots.txt не даёт Google увидеть noindex. Получается, что второй замок висит на двери, которую никто не открывает, и итог такой же, как без noindex. Если на адрес ссылаются другие страницы, он может попасть в выдачу, и Search Console покажет его со статусом «Проиндексировано, несмотря на блокировку в файле robots.txt»; Google советует в этом случае убрать блокировку и поставить noindex.
Для страницы поиска это обходится дёшево: все 8 найденных конфликтов стоят на страницах поиска, а в выдаче от них всё равно нет пользы. Тот же приём на странице, которая важна (старая рекламная страница, черновик, страница «спасибо»), оставляет её такой же заметной, как раньше, а тот, кто поставил тег, уверен, что страница скрыта.
Что выбрать
| Ваша цель | Что использовать | Что не использовать |
|---|---|---|
| Страница, которую людям открывать можно, а Google показывать нет | Мета-тег noindex, страница открыта для сканирования | Строку Disallow |
| PDF, картинка или видео | Заголовок X-Robots-Tag: noindex у файла | Мета-тег (нет HTML, чтобы его поставить) |
| Личная страница: аккаунт, черновик, тестовый сайт | Вход или пароль | Только noindex или только robots.txt |
| Страница удалена навсегда | Ответ 404 или 410 | Страницу с ответом 200 и текстом «не найдено» или редирект на главную |
| Утекло, и убрать надо сегодня | Инструмент удаления в Search Console, затем один из способов выше | Один только инструмент |
| Сэкономить сканирование на бесконечных адресах | Правило Disallow | Надежду, что оно скроет страницы |
| Уже в индексе, должна уйти | Оставить открытой, поставить noindex, дождаться пересканирования, блокировать позже, если хочется | Блокировать первым делом |
Последняя строка это мой порядок работы, а не рецепт Google: закрытую страницу нельзя пересканировать, поэтому тег так и не прочитают. Остальное следует документации Google, а в шпаргалке под статьёй та же таблица с цитатами и шаблонами для Apache и nginx под PDF.
Про инструмент удаления Google пишет прямо: успешный запрос действует только около полугода. Чтобы убрать страницу насовсем, нужны 404 или 410, пароль или тег noindex. Про удалённые страницы мой разбор 404, 410 или редирект объясняет, какой ответ отдавать и почему редирект на главную считается мягкой ошибкой 404.
Проверка одной страницы за минуту
- Заголовок.
curl -s -D - -o /dev/null https://ваш-сайт/страницаи ищитеx-robots-tag. Это запрос GET, и это важно: некоторые серверы отвечают на HEAD (curl -I) иначе, чем на GET. - Мета-тег. Откройте исходный код страницы и найдите
noindexили выполнитеcurl -s https://ваш-сайт/страница | grep -io '<meta name="robots"[^>]*>'. Считаются только теги с именемrobotsиgooglebot. - robots.txt. Откройте
https://ваш-сайт/robots.txtи найдите правило, под которое попадает страница.*и$работают, и побеждает самое длинное подходящее правило. - Нашлось и то и другое? Это конфликт. Уберите правило из robots.txt, тег оставьте.
- Взгляд самого Google. В Search Console проверка URL показывает «Индексирование разрешено?» и называет noindex, если дело в нём.
Когда страниц больше десятка, я использую скрипт: проверка индексации принимает список адресов и возвращает по одному вердикту на адрес, а для сочетания выше выдаёт conflict. Правила robots.txt он разбирает по Google, а не стандартным парсером Python.
Ошибки, которые я вижу чаще всего
- noindex как защита. Страница с noindex скрыта от выдачи, но не от людей: по ссылке её откроет любой, а сам Google называет noindex менее надёжным способом, чем пароль или ответ 404. Тестовому сайту место за паролем; как это сделать, я описал в статье тестовая среда без Disallow: /.
- canonical вместо noindex. Тег canonical подсказывает, какую из копий оставить, а не просит убрать страницу. Как Google к нему относится, написано в статье про canonical.
- Живая страница с текстом «не найдено» вместо ответа 404. Удалённая страница, которая отвечает 200, это мягкая ошибка 404: текст говорит, что её нет, а сервер уверяет, что всё в порядке. Отдавайте 404 или 410.
- Включённая настройка WordPress. Галочка «Попросить поисковые системы не индексировать сайт» нужна на время разработки; оставленная после запуска, она просит поисковики пропустить весь сайт. После запуска откройте исходный код страницы и
/robots.txtживого сайта и найдитеnoindexиDisallow: /. - Страницы с noindex в карте сайта. Карта сайта говорит «индексируйте это», страница с noindex говорит обратное. Уберите их; правила есть в статье про sitemap.xml и robots.txt.
Когда robots.txt всё же правильный инструмент
Если цель в том, чтобы сэкономить нагрузку на сервер от бесконечных адресов, например комбинаций фильтров или результатов внутреннего поиска, robots.txt делает именно это. В моём замере его так используют 23 сайта из 42, и не у всех это ошибка. Тогда примите, что адрес всё равно может появиться в выдаче, и решите, важно ли вам это. Для страниц поиска это решение разобрано в статье про внутренний поиск по сайту, а когда экономия вообще имеет смысл, объясняет краулинговый бюджет: на сайте в несколько тысяч страниц обычно не имеет.
Кому это не нужно: если ни одной из 4 служебных страниц, которые я проверял (поиск, корзина, вход, аккаунт), на вашем сайте нет или они не попадают в поиск, чинить тут нечего. А если у страницы уже стоит вход по паролю, noindex на ней безвреден, но лишний.
Границы моих цифр:
- Только 42 сайта, которые ответили. Крупные сайты закрываются от скриптов, поэтому 42 это сайты, которые отдают HTML незнакомому клиенту. Доли не равны доле крупных сайтов вообще.
- Исходный HTML.
noindex, который скрипт дописывает после загрузки, я не видел, поэтому доляnoindexэто нижняя оценка. - Chrome, а не Googlebot. Сайт может отдавать Googlebot другой robots.txt или другую страницу. Ни одну страницу я не сверял с индексом Google и Search Console.
- Один день. 16 ноября 2026 года, robots.txt перечитан в тот же день. Эти файлы сайты меняют.
Если хотите, чтобы robots.txt, noindex и настройки сканирования вашего сайта проверили вместе, я делаю это в рамках технического SEO-аудита.
