Короткий ответ
Страницы не индексируются в Google по одной из двух групп причин: либо вы сами запретили индексацию технически (это часть того, что закрывает техническая оптимизация сайта), либо Google посчитал страницу недостаточно ценной, чтобы тратить на неё место в индексе. Первая группа чинится за вечер, вторая — за недели работы над контентом и структурой.
Важное, что снимает половину паники: индексация не гарантирована. Google прямо заявляет, что не обещает проиндексировать все страницы сайта, — и это нормальное рабочее состояние, а не поломка. Точную причину по каждому URL показывает отчёт «Индексирование страниц» в Search Console, и начинать нужно только с него.
Как узнать реальную причину, а не догадываться
Порядок ровно такой:
- Откройте Search Console → «Индексирование» → «Страницы». Внизу список причин с количеством URL по каждой.
- Найдите свои страницы в этом списке и посмотрите формулировку статуса. Она и есть диагноз.
- Для конкретного URL используйте инструмент проверки URL сверху: он покажет, известен ли адрес Google, когда его сканировали, какой canonical выбрал Google и что видит краулер.
- В проверке URL нажмите «Проверить страницу на сайте» — это покажет отрендеренный HTML. Полезно, когда контент подгружается скриптами и краулер видит пустую страницу.
Один совет из практики: не смотрите на общее число проиндексированных страниц. Оно почти всегда отличается от вашего представления о размере сайта, потому что туда попадают технические URL, и это ни о чём не говорит. Смотрите по группам причин.
Что означают статусы Search Console
| Статус | Что произошло | Это проблема? |
|---|---|---|
| Обнаружена — не проиндексирована | URL известен, но не сканировался | Да, вопрос приоритета и ценности |
| Просканирована — не проиндексирована | Страницу прочитали и не взяли в индекс | Да, вопрос качества контента |
| Страница с переадресацией | URL отдаёт 301 или 302 | Нет, если редирект намеренный |
| Заблокировано в файле robots.txt | Сканирование запрещено | Да, если запрет случайный |
| Страница содержит тег noindex | Прямой запрет индексации | Да, если тег не ваш |
| Альтернативная страница с правильным canonical | Google выбрал другой URL как основной | Нет, если canonical корректный |
| Дубликат: Google выбрал другой canonical | Ваш canonical проигнорирован | Да, сигнал слабой уникальности |
| Не найдена (404) | Страницы нет | Нет, если удалена намеренно |
| Ошибка сервера (5xx) | Сервер не отдал страницу | Да, чинить в первую очередь |
Отдельно про две самые частые строки. «Обнаружена — не проиндексирована» и «Просканирована — не проиндексирована» пугают сильнее всего, но именно они означают, что технического запрета нет. Google видит URL и решает не тратить на него ресурс. Это не поломка, которую нужно найти, а оценка, которую нужно изменить.
Технические причины: чинятся за один вечер
Это короткий список, но проверить его нужно до всего остального — потому что пока стоит запрет, никакая работа над контентом не поможет.
- Метатег noindex. Самая частая история — сайт разрабатывали на стейджинге с закрытой индексацией, выкатили в продакшн и забыли снять галочку. В WordPress это чекбокс «Попросить поисковые системы не индексировать сайт» в настройках чтения. Проверяется поиском
noindexв исходном коде страницы. - Запрет в robots.txt. Откройте
ваш-сайт.ee/robots.txtи убедитесь, что там нетDisallow: /. И помните ловушку: страница, закрытая в robots.txt, не будет просканирована — а значит, Google не увидит на ней noindex, если вы его туда поставили. - Canonical на другой URL. Если на странице стоит
rel="canonical"с адресом другой страницы, вы сами сообщили Google, что она вторична. На больших сайтах это часто следствие кривой настройки шаблона, когда весь раздел канонизируется на категорию. На многоязычных сайтах тот же шаблон канонизирует неосновные языковые версии на основную — этот сценарий я разбирал в статье про настройку hreflang и типовые ошибки. - HTTP-статус. Страница должна отдавать 200. Проверьте, что нет цепочки редиректов, 404 при живом контенте или периодических 5xx под нагрузкой.
- Отсутствие в карте сайта и внутренних ссылках. Страница, на которую не ведёт ни одна ссылка с сайта и которой нет в sitemap, для краулера почти не существует.
- Контент только в JavaScript. Google умеет рендерить JS, но делает это во вторую очередь и не всегда полностью. Если в отрендеренном HTML вместо текста пусто, страница индексируется плохо.
Отдельная строка — стабильность сервера. Google заявляет, что при медленных ответах и ошибках снижает частоту обхода. Об этом же я писал в разборе того, влияет ли скорость сайта на позиции: для маленького сайта это неважно, для магазина на десятки тысяч URL — критично. А вот сам переезд на другой сервер бояться не нужно: смена хостинга не ухудшает SEO, если миграция сделана корректно и редиректы на месте.
Причины по качеству: чинятся неделями
Если технических запретов нет, а страницы висят в «Обнаружена — не проиндексирована», разговор идёт про ценность. Что реально работает:
- Уникальный смысл, а не уникальный текст. Страница, пересказывающая то, что уже есть в индексе в двадцати вариантах, не даёт Google повода добавить двадцать первый. Нужен свой угол: свои данные, свой опыт, своя структура ответа.
- Внутренние ссылки. Страница без входящих ссылок с сайта выглядит как черновик. Дайте на неё ссылку из релевантного раздела или статьи — часто одного этого хватает, чтобы URL перешёл из «обнаружена» в индекс.
- Меньше страниц, но плотнее. Десять пустых страниц под околосинонимы работают хуже одной подробной. Это же снимает риск каннибализации, когда две страницы конкурируют за один запрос и обе проседают.
- Контроль генерируемых URL. Фильтры, сортировки, пагинация и параметры создают тысячи адресов, которые съедают лимит обхода. Их нужно закрывать метатегом noindex или канонизировать — тогда краулер добирается до нужных страниц быстрее.
- Свежесть сайта в целом. На сайтах, которые регулярно обновляются, новые страницы индексируются заметно быстрее, чем на замерших. Это же наблюдение хорошо видно на многоязычных проектах — я разбирал его в статье про то, на каком языке продвигать сайт в Эстонии.
Как ускорить индексацию новой страницы
Ускорить обнаружение страницы действительно можно, но важно понимать границу: любой инструмент ускорения влияет на то, как быстро Googlebot придёт на страницу, и не влияет на решение взять её в индекс. Если страница слабая, ускорение просто быстрее приведёт вас к отказу.
Ручная отправка URL в Search Console. Самый простой и бесплатный способ. Откройте инструмент проверки URL, вставьте адрес и нажмите «Запросить индексирование» — Google ставит URL в приоритетную очередь на обход, и переобход обычно происходит в течение нескольких часов или дней вместо нескольких недель. Это стандартный шаг после публикации новой страницы и после любой существенной правки старой. Ограничения: суточная квота на количество запросов, и повторная отправка того же URL ничего не ускоряет — очередь одна.
Телеграм-бот @BoostIndexBot. Работает через API индексирования Google: вы отдаёте боту список URL, он отправляет их напрямую в очередь на сканирование и показывает статус по каждой ссылке. По моему опыту, качественные новые страницы после такой отправки заходят в индекс в пределах суток — заметно быстрее, чем при ожидании обычного обхода. Ключевое слово здесь — качественные: страницы, которые Google и так не собирался брать, бот в индекс не загонит. Он ускоряет обход, а не отменяет оценку.
Практически удобнее всего связка: массовую отправку новых URL делать через @BoostIndexBot, а Search Console оставить для точечной проверки и диагностики конкретных адресов — там же видно, что Google в итоге решил.
Чего ускорение не делает: не поднимает позиции, не заменяет внутренние ссылки и не спасает тонкие страницы. Если страница попала в индекс за сутки и через месяц из него выпала, проблема была в содержимом, а не в скорости обхода.
Что я вижу на своих проектах
Основной мой доход — собственные сайты в конкурентных нишах, и по индексации у меня довольно однообразная картина: на живых проектах, которые регулярно обновляются, новые материалы попадают в индекс сами и быстро, а на заброшенных сайтах те же самые тексты могут висеть в «обнаружена» месяцами. Разница не в текстах, а в том, ходит ли краулер на сайт вообще.
Второе наблюдение — про массовые страницы. Каждый раз, когда я генерировал большой набор однотипных страниц под низкочастотные запросы, часть из них Google просто не брал. Не наказывал, не удалял из индекса уже имеющееся — молча игнорировал новые. Из этого я сделал практический вывод: количество страниц имеет смысл наращивать медленнее, чем позволяет техника.
Честные границы применимости. Всё написанное — про сайты услуг, небольшие магазины и контентные проекты, то есть про типичный эстонский малый бизнес и про мои собственные проекты. На сайтах с сотнями тысяч URL логика краулингового бюджета выходит на первый план, и там приоритеты другие: логи сервера, лимиты обхода, работа с фасетной навигацией. У меня нет собственных данных такого масштаба, поэтому я о них и не пишу.
И честно про сроки. Ускорить обход — можно, и инструменты выше это делают. Чего сделать нельзя — заставить Google взять в индекс страницу, которую он брать не хочет. Разница принципиальная: отправка URL сокращает ожидание с недель до суток для страницы, которая и так прошла бы отбор, но не меняет вердикт по слабой странице. Поэтому если вам обещают гарантированную индексацию любых страниц за деньги, речь идёт либо о том, что произошло бы само, либо о схемах, за которые потом расплачивается сайт.
Порядок действий, если страница не в индексе
- Проверьте статус конкретного URL в инструменте проверки URL в Search Console.
- Если статус говорит о запрете — снимите его: уберите noindex, поправьте robots.txt, исправьте canonical.
- Убедитесь, что URL отдаёт 200 и виден в отрендеренном HTML со всем основным содержимым.
- Добавьте страницу в карту сайта и поставьте на неё 2–3 внутренние ссылки с релевантных страниц.
- Если запретов нет и статус «Обнаружена — не проиндексирована» — переработайте содержимое: добавьте то, чего нет у конкурентов, уберите шаблонные абзацы.
- Отправьте URL на переобход: через инструмент проверки URL в Search Console или списком через @BoostIndexBot. Один раз, не каждый день.
- Подождите две-три недели и посмотрите статус снова. Раньше делать выводы бессмысленно.
Если после этого страница всё ещё вне индекса, проблема почти наверняка не в ней одной, а в том, как устроен сайт целиком — и это уже задача уровня технической проработки сайта, а не правки одного URL.
