Индексация сайта: как проверить и ускорить

Индексация сайта — это добавление его страниц в базу поисковой системы (индекс) после того, как робот их обошёл. Нет страницы в индексе — нет её и в поиске.

Опубликовали страницы, а в Яндексе и Google их не видно? Проверим индексацию, найдём причину и ускорим процесс.

Содержание

• Что это
• Способы проверки
• Яндекс Вебмастер
• Google Search Console
• Оператор site
• Одна страница
• Почему не индексируется
• Новый сайт
• Как ускорить

Что такое индексация сайта

Сначала робот обходит (сканирует) страницу, потом система анализирует содержимое и решает, добавлять ли её в индекс. Как правило, только после этого страница может попасть в выдачу.

Обход ещё не индекс.

Google индексирует не все просканированные страницы. Яндекс может не взять в базу даже страницу с оригинальным текстом, если у неё очень мало шансов на показ. Да и индекс не гарантирует ни показа, ни позиций.

У Яндекса и Google свои роботы и индексы: страница может быть в одном поиске и отсутствовать в другом. Проверяйте обе системы.

Как проверить индексацию сайта

Способов три: Яндекс Вебмастер, Google Search Console и оператор site: в поисковой строке.

Панели дают точные данные владельцу с подтверждёнными правами или тому, кому он выдал доступ. Оператор site: и сторонние сервисы работают для любого сайта, но такой точности не дают.

Смотрите, сколько страниц в индексе, какие именно, какие исключены и почему.

Проверяйте после запуска сайта и новых публикаций, переезда, редизайна, правок robots.txt или шаблонов. И при падении поискового трафика: это повод заглянуть в индекс, хотя причина может быть другой.

Проверка индексации сайта в Яндекс Вебмастере

Индексация сайта в Яндексе проверяется онлайн в Вебмастере. Нужен добавленный сайт с подтверждёнными правами.

Откройте «Индексирование» → «Страницы в поиске».

Что показывает отчёт «Страницы в поиске»

Отчёт показывает, как меняется число страниц в выдаче, сколько добавлено и исключено. Переключатели «Последние изменения», «Все страницы» и «Исключенные страницы» открывают списки для выгрузки. Данные по новым страницам могут запаздывать на несколько дней.

Нужно только число? Смотрите столбец «В поиске» на странице «Мои сайты».

Как читать исключённые страницы

У исключённой страницы указаны дата последнего визита робота и статус, то есть причина.

Статус	Что сделать
«Дубль»	указать предпочтительный адрес 301-редиректом или rel=»canonical»
«Запрещено элементом noindex»	если страница нужна, убрать запрет и отправить на переобход
«Запрет в robots.txt (весь сайт)» или «(страница)»	изменить robots.txt, робот вернётся сам
«Ошибка HTTP», «Не удалось скачать страницу»	проверить ответ сервера
«Малоценная или маловостребованная страница»	решение алгоритма, может измениться; это не нарушение

Не каждое исключение — ошибка.

Служебным страницам и дублям там самое место, а число исключённых, по справке Яндекса, на положение сайта не влияет. Тревожно, если исключены целевые страницы, под которые вы собирали семантическое ядро.

Видит ли робот новые страницы

Загляните в «Индексирование» → «Статистика обхода»: какие страницы робот обошёл, когда, с каким кодом ответа и какие не смог загрузить. Изменение одного только контента там не видно.

Нового адреса нет? Значит, робот его ещё не посещал. Помогут меры из раздела об ускорении.

Как проверить индексацию в Google Search Console

Чтобы проверить индексацию сайта в гугле, подтвердите права на ресурс в Google Search Console и откройте «Отчет об индексировании страниц». Там диаграмма проиндексированных и непроиндексированных страниц и таблица «Почему эти страницы не индексируются».

Сам Google пишет, что «Не проиндексировано» ещё не ошибка. Обычно ожидаемы «Страница является копией…», «Страница с переадресацией», а также noindex и robots.txt, если запрет ставили сами.

Для целевых страниц тревожны:

• «Ошибка сервера (5xx)» или «Не найдено (404)»;
• «Страница просканирована, но пока не проиндексирована»: позже может попасть в индекс, а может и нет, повторный запрос не нужен;
• «Обнаружена, не проиндексирована»: адрес Google знает, но сканирование отложил, обычно чтобы не перегрузить сайт.

Быстрая проверка через оператор site

Доступа к панелям нет или сайт чужой? Хватит поисковой строки.

Например:

site:example.ru            весь сайт с поддоменами
site:example.ru/blog/      раздел (Google)
url:example.ru/blog/*      раздел (Яндекс)
url:https://example.ru/    одна страница (Яндекс)

Адрес example.ru условный.

Точность ограничена. Google пишет, что site: показывает не все проиндексированные адреса и пустая выдача не доказывает, что страницы нет в индексе. Впрочем, сайту меньше чем на 500 страниц, по словам Google, для начала обычно хватает site:.

Как проверить, проиндексирована ли конкретная страница

Нужна одна страница, например свежая статья? В обеих панелях есть инструмент для отдельного адреса.

В Яндекс Вебмастере

«Индексирование» → «Проверка страницы» покажет код ответа для робота (если не 200 OK, страница может быть исключена), контент глазами робота и статус: в поиске или исключена. Дату обхода смотрите в «Страницах в поиске» или «Статистике обхода».

Без прав работает «Инструменты» → «Анализ индексации страницы»: проверит любую страницу на запрет в robots.txt и noindex. Но открытость для робота ещё не означает участия в поиске.

В Google Search Console

Вставьте полный URL в строку вверху Search Console. Увидите, есть ли адрес в индексе Google, дату сканирования, выбранную Google каноническую страницу и поля «Сканирование разрешено?» и «Индексирование разрешено?». «Нет» в первом указывает на robots.txt, во втором на noindex.

По умолчанию показана последняя проиндексированная версия. Текущую проверяет кнопка «Проверить страницу на сайте».

Что делать с результатом

• В индексе. Проверка закончена, хотя позиций статус не гарантирует.
• Не в индексе, причина указана. Исправляйте по разделу ниже.
• Адрес неизвестен или робот не заходил. Переходите к разделу об ускорении.

Почему страницы не индексируются

Разбирайте сначала важные страницы. Каждая причина ниже — гипотеза, пока её не подтвердили панель или код страницы. Нашли, исправили, отправили на переобход.

Как проверить, открыт ли сайт для индексации

Первым делом откройте robots.txt.

Нет ли там Disallow для нужного раздела или всего сайта? Подробнее о файле — в статье как настроить robots.txt. Если запрет вы не ставили, Яндекс советует обратиться к хостинг-провайдеру или регистратору и проверить, не заблокирован ли домен.

Учтите: Disallow управляет обходом, и закрытая им страница всё равно может попасть в поиск, например по внешним ссылкам. Убирают из индекса через noindex, не закрывая страницу в robots.txt, иначе робот запрет не увидит.

Дальше проверьте метатег robots и HTTP-заголовок X-Robots-Tag.

<meta name="robots" content="noindex">    в <head> страницы
X-Robots-Tag: noindex                     в HTTP-заголовке

Оба варианта понимают Яндекс и Google. Если noindex стоит по ошибке, уберите его и отправьте страницу на переобход или запросите индексирование: изменение учтётся только после визита робота. С nofollow не путайте, он касается ссылок.

Что ещё мешает попасть в индекс

Следующий подозреваемый — canonical.

Если rel=canonical ведёт на другую страницу, Яндекс воспримет это как рекомендацию: может проигнорировать, а может убрать страницу из поиска со статусом «Неканоническая». Для Google это явный сигнал, но каноническую версию он может выбрать сам.

Код ответа должен быть 200. При редиректе в индекс обычно попадает адрес назначения. Страницы с 4xx в индекс не попадают, с постоянными 5xx выпадают из него. Не проиндексируется и страница за паролем, например тестовая копия сайта.

Дубли и малоценные страницы система может исключить, даже если технически они открыты. Частый источник дублей — параметры фильтрации и сортировки.

А новую страницу без ссылок и sitemap.xml робот может долго не замечать.

Как включить индексацию сайта на WordPress

Тут всё просто.

На экране «Настройки чтения» в блоке «Видимость для поисковых систем» снимите флажок «Попросить поисковые системы не индексировать сайт». Пока он стоит, WordPress выводит meta robots с noindex, nofollow. Заодно проверьте, что noindex не ставит SEO-плагин или шаблон.

Как добавить сайт в индексацию Яндекса и Google

Чтобы добавить сайт в индексацию Яндекса, войдите в Вебмастер, нажмите «Добавить сайт» и укажите адрес так, как сайт будет в поиске. Права подтверждают HTML-файлом в корне (рекомендуемый способ), метатегом на главной или TXT-записью в DNS.

В Google Search Console выберите тип ресурса. Доменный охватывает все поддомены и протоколы и подтверждается только записью DNS. Ресурс с префиксом в URL можно подтвердить и HTML-файлом или тегом.

Сразу отправьте sitemap.xml: в Яндексе через «Индексирование» → «Файлы Sitemap», в Google через отчёт о файлах Sitemap.

Дальше робот должен найти и обойти страницы, а система решит, брать ли их в индекс. Сроков ни Яндекс, ни Google не гарантируют.

Как ускорить индексацию сайта

Меры ниже помогают роботу быстрее найти и обойти страницы, но решение об индексе остаётся за поисковиком.

Начните с карты сайта.

Держите в sitemap.xml только канонические страницы с кодом 200. Изменённый файл Яндекс перепроверяет сам, а закрытый в Disallow или с ответом не 200 не обработает.

Как ускорить индексацию сайта в Яндексе

Отправляйте новые и изменённые адреса в «Индексирование» → «Переобход страниц». Лимит обновляется ежедневно. Статус «Заявка обработана» значит лишь, что робот страницу посетил.

Есть и автоматический путь.

Яндекс поддерживает IndexNow: сайт сам сообщает о новых, изменённых и удалённых страницах. Нужен ключ на сайте, для CMS есть плагины, индексирования протокол не гарантирует. Небольшому сайту Яндекс предлагает обходиться переобходом. Google в списке участников IndexNow нет.

Ещё канал — обход по счётчику Метрики, привязанному к сайту в Вебмастере.

Как ускорить индексацию в Google

В инструменте проверки URL нажмите «Запросить индексирование». Если очевидных ошибок нет, страница встанет в очередь. Число запросов в день ограничено, индекс они не гарантируют.

Повторный запрос не ускорит.

Для многих страниц Google советует отправить sitemap с <lastmod>.

Что сделать на самом сайте

Ставьте на новую страницу ссылки с уже проиндексированных. Внешние ссылки тоже помогают, но найти страницу только по ним робот может нескоро.

Дубли и адреса с параметрами тратят ресурсы робота. Правда, о краулинговом бюджете Google пишет в основном для очень крупных сайтов, небольшому достаточно вовремя обновлять sitemap. Яндекс же советует поддерживать качество: чем больше полезных страниц, тем выше вероятность показа.

И скорость сервера. При стабильно быстрых ответах Google может сканировать больше, а медленные ответы и ошибки 5xx сканирование замедляют.