Что такое индексация сайта и как её проверить

Процесс идёт в три шага. Робот узнаёт о странице (из ссылок, sitemap.xml или обхода в Вебмастере), скачивает её (это называют сканированием или краулингом), затем решает, добавить ли её в индекс. На третьем шаге многие страницы отсеиваются.

Почему страница может не попасть в индекс:

• закрыта в robots.txt или тегом noindex, часто случайно после разработки;
• это дубль другой страницы, и поисковик выбрал каноническим другой адрес;
• контента мало или он скопирован, Яндекс помечает такие страницы как малоценные;
• сайт медленно отвечает, и робот не успевает обойти всё;
• на страницу нет ни одной внутренней ссылки.

Как проверить. В Яндекс Вебмастере раздел «Индексирование» показывает страницы в поиске и исключённые с причиной. В Google Search Console аналогичный отчёт «Страницы». Быстрая проверка одной страницы: оператор url: в Яндексе или site: в Google.

Пример. У интернет-магазина 4 000 карточек, а в индексе Яндекса 1 100. В Вебмастере видно, что 2 300 исключены как малоценные: у карточек одинаковые описания от поставщика. Пока тексты не станут разными, эти товары в поиске не появятся. Цифры условные, ситуация частая.

Как ускорить. Отправить важные адреса через «Переобход страниц» в Вебмастере. Держать sitemap.xml актуальным. Ставить ссылки на новые страницы с главной и из меню. Для Яндекса подключить IndexNow, тогда поисковик узнаёт об изменениях сразу.

Для GEO индексация тоже первична: нейросети с поиском читают то, что есть в выдаче, а ИИ-краулеры должны иметь доступ к сайту отдельно.

В SEO-аудите мы начинаем с индекса: сравниваем число страниц на сайте, в sitemap и в поиске. Если расходится сильно, остальная работа подождёт.