Быстрый способ проверить индексацию страниц в Яндексе и Google

Как выявить расхождения в индексации страниц Яндексом и Google и что с этим делать

Поисковые системы по ряду причин индексируют не все страницы сайта или, наоборот, добавляют в индекс нежелательные. В итоге практически невозможно найти сайт, у которого бы количество страниц в Яндексе и Google совпадало.

Если расхождение не превышает 10%, то на это не все обращают внимание. Но такая позиция справедлива для СМИ и информационных сайтов, когда потеря малой части страниц не сказывается на общей посещаемости. А вот для интернет-магазинов и прочих коммерческих сайтов отсутствие товарных страниц в поиске (даже одной из десяти) — это потеря дохода.

Поэтому важно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сопоставлять результаты, выявлять, какие страницы отсутствуют в поиске, и принимать меры.

Проблема при мониторинге индексации

Посмотреть проиндексированные страницы не составляет труда. Сделать это можно путем выгрузки отчетов в панелях для вебмастеров:

  • Яндекс.Вебмастер («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);

Проверка индексации страниц в Яндекс Вебмастере

  • Google Search Console («Индекс» / «Покрытие» / «Страница без ошибок» / «Экспорт»).

проверка индексации в google search console

В итоге у вас будет 2 XLS-файла со списком страниц, проиндексированных в Яндексе и Google. Проблема в том, чтобы сопоставить эти списки и определить, каких URL не хватает.

Если у вас, скажем, до 100 URL, то можно сделать это вручную, отсортировав URL по алфавиту и выявив расхождения. Займет это минут 15-20. Если же количество URL составляет 500, 1000 или десятки тысяч, то ручная работа потребует часов или даже дней. В этом случае нужна автоматизация.

Инструмент онлайн-проверки индексации от PromoPult

Для быстрой проверки индексации онлайн в Яндексе и Google в PromoPult разработали инструмент «Анализ индексации страниц».

Возможности инструмента:

  • одновременная проверка проиндексированных страниц в Яндексе и Google (или в одной ПС);
  • возможность проверки сразу всех URL сайта по XML-карте;
  • нет ограничения по количеству URL.

Особенности:

  • работа «в облаке» — не нужно скачивать и устанавливать ПО или плагины;
  • выгрузка отчетов в формате XLSX;
  • уведомление на почту об окончании сбора данных;
  • хранение отчетов неограниченное время на сервере PromoPult.

Как работает инструмент проверки индексации?

Шаг 1. Добавление URL

Перейдите на страницу инструмента и добавьте URL, индексацию которых необходимо проверить. Сделать это можно тремя способами:

  • Добавление XML-карты сайта (способ подходит, если вам нужно проверить все URL сайта; для этого укажите полный путь к карте сайта в формате http://www.site.ru/sitemap.xml).

Проверка индексации страниц в PromoPult - Добавление XML-карты сайта

  • Загрузка XLSX-файла (в этом случае система проверит все URL, указанные на первом листе сайта; расположение URL по столбцам и строкам не имеет значения).

Проверка индексации страниц в PromoPult - Загрузка XLSX-файла

  • Добавление списка URL вручную (способ подходит, если вам нужно проверить не все URL сайта, а только некоторые из них; каждый URL указывайте с новой строки).

Проверка индексации страниц в PromoPult - Добавление списка URL вручную

В зависимости от того, из какого источника вы будете брать URL, решаются разные задачи:

Из XML-карты сайта или CMS. В этом случае можно проверить, какие из важных URL не проиндексированы.

Пример. В карте сайта 1250 URL, которые подлежат индексации. Мы вводим поочередно в Яндексе и Google команду:

site:yourdomain.ru

Получаем количество проиндексированных страниц — 684 и 1090.

количество проиндексированных страниц в яндексе и гугл

Задача — определить, каких страниц не хватает. Сканируем XML-карту сайта с помощью инструмента от PromoPult, получаем информацию по всем URL и выявляем несоответствия.

Полезно знать: Как ускорить индексацию сайта: 5 способов на все случаи жизни

Из отчета о проиндексированных страницах из Яндекс.Вебмастера или Google Search Console. Бывает, что в каком-то поисковике количество проиндексированных страниц превышает количество URL в карте сайта. В такой ситуации необходимо загрузить на проверку все URL из поисковика, в котором наблюдается такое превышение, — это позволит выявить «лишние» страницы.

Пример. В карте сайта 15 570 URL, которые подлежат индексации. Проверяем количество страниц по команде site:yourdomain.ru в Яндексе и Google:

сравнение индексации страниц в Яндексе и Google

В Яндексе количество страниц превышает количество страниц не только в Google, но и в карте сайта. Очевидно, что в индекс попали нежелательные страницы. Если запустить проверку только по URL из карты, то мы так и не узнаем, какие URL «лишние». Поэтому переходим в Яндекс.Вебмастер, выгружаем все страницы из поиска и проверяем их. Теперь проще разобраться, в чем проблема.

Чтобы не было проблем с индексацией, запустите продвижение сайта в комплексном SEO-модуле системы PromoPult. Внутренняя оптимизация, повышение авторитетности сайта, наполнение контентом — все это специалисты делают за вас. Вы лишь задаете бюджет и контролируете процесс.

Шаг 2. Указание ПС

На данном этапе нужно выбрать ПС для проверки индексации. Для выявления расхождений выбирают обе системы.

выбрать ПС для проверки индексации

Шаг 3. Получение результата

После завершения проверки отчет появится в «Списке задач». Кроме того, вам на почту придет уведомление:

проверить индексацию страниц в Яндексе и Google - Получение результата

Скачать отчет можно в формате XLSX:

проверить индексацию страниц в ПромоПульт - Скачать отчет XLSX

В файле 2 листа: результаты анализа и исходные данные. На первом листе 3 столбца: URL и данные по индексации (1 — страница проиндексирована, 0 — нет).

Проиндексированные страницы - Отчет XLSX

С помощью автофильтра вы легко определите, каких страниц нет в той или иной ПС:

Быстрый способ проверить индексацию страниц в Яндексе и Google

Сколько стоит использование инструмента?

Проверка 1 URL в одной поисковой системе обойдется в 0,02 руб. То есть для мониторинга сайта небольшого интернет-магазина на 1000 страниц нужно 40 рублей, более крупного сайта на 10000 страниц — 400 рублей. С учетом того, сколько времени экономит данный инструмент, его стоимость можно считать условной.

Анализатор индексации страниц — это только один из инструментов системы PromoPult. В разделе «Профессиональные инструменты» вы найдете чекер позиций в поиске, кластеризатор запросов, парсер Wordstat, подборщик поисковых подсказок и фраз-ассоциаций, генератор объявлений из YML, нормализатор слов и другие полезности.
Многие инструменты бесплатные. Платные же стоят в 2-4 раза дешевле, чем у конкурентов. Есть бесплатные проверки.

Количество проиндексированных страниц в Яндексе и Google разное — что с этим делать?

На данном этапе вы уже знаете, какие страницы не проиндексированы. Теперь нужно понять, почему это произошло.

Есть ряд причин, по которым поисковики могут индексировать не все (или лишние) страницы:

  • отдельные директивы для Яндекса и Google в robots.txt (в этом случае — ошибочно или намеренно — запрещена индексация определенного типа страниц для одного из Googlebot или Yandexbot; нужно проверить txt и при необходимости исправить директивы);
  • молодой сайт (требуется время, чтобы поисковики добавили все страницы в индекс; если спустя 2-3 месяца после запуска сайта проблема не решилась, ищите другие причины);
  • нет XML-карты сайта (она помогает поисковикам лучше понимать структуру сайта, поэтому ее стоит обязательно создать и разместить в корне сайта);
  • наличие дублей страниц (возникают в силу специфики CMS, ошибок при разработке и настройке сайта, копировании контента; решение — найти и устранить дубли);
  • низкая скорость работы сайта (робот может попросту не дождаться ответа и уйти ни с чем; решение — найти «узкие места» и ускорить работу сайта);
  • редкое добавление контента (чем реже вы добавляете новые страницы, тем реже роботы посещают сайт; естественно, скорость переобхода у Яндекса и Google разная, поэтому возникают расхождения; решение — хотя бы раз в неделю создавать новую страницу с уникальным контентом, например, статьей для блога; если у вас не хватает времени для работы над контентом, подключите модуль автоматического наполнения сайта от PromoPult — копирайтеры будут регулярно писать тематические тексты под ваш сайт, а верстальщики — размещать их на страницах);
  • редкое обновление устаревшего контента (если существующие страницы не обновляются, то при выпадении из индекса повторная индексация произойдет не скоро; избежать этого помогает настроенный Last-Modified и регулярная актуализация информации);
  • санкции поисковиков (ваш сайт может попасть под санкции одного из поисковиков, в то время как со стороны другого их не будет; в этом случае стоит проверить сайт на наличие фильтров и при необходимости выйти из-под них);
  • более 4 уровней вложенности (в такой ситуации поисковик не успевает добраться до части «глубоких» страниц; решение — переосмыслите структуру сайта, максимально упростите ее).

Для точной диагностики причин выпадания страниц из индекса проведите SEO-аудит сайта. По его результатам у вас на руках будет готовый план действий. Останется воплотить их в жизнь.

После устранения недостатков подождите пару недель, чтобы поисковики переиндексировали страницы, и повторно промониторьте ситуацию. Если все сделано верно, то расхождения минимизируются (ожидать, что совпадать будут 100% страниц, не стоит).

Заключение

Проверка индексации в одной поисковой системе — не проблема, достаточно выгрузить отчеты из панели для вебмастеров. Но сопоставить данные из Яндекса и Google и выявить, какие именно страницы не проиндексированы одной из ПС, — другое дело. Вручную сделать это, особенно если страниц более 100-200, трудоемко. В такой ситуации стоит воспользоваться инструментом автоматизации. Спустя пару минут после запуска у вас будет отчет, который позволит выявить нестыковки и принять меры для их устранения.

Попробуйте инструмент анализа индексации страниц в действии — предлагаем 10 бесплатных проверок!

Хотите дополнительно заработать? Поделитесь ссылкой на инструмент и получайте 10 % от расходов пользователей, которые перешли по ней.

Проверить индексацию страниц вашего сайта

Комментирование этой записи закрыто. 😶

Управление контекстной рекламой
в Яндекс Директ и Google Adwords
Вы выбираете площадки для рекламы
Автоматизированное управление
контекстной рекламой

Настоящий сервис собирает информацию, зарегистрированную в файлах «cookies» для целей адаптации функционала сервиса к потребностям пользователей, в целях сбора статистической информации для анализа и улучшения качества работы сервиса, а также в рекламных целях. При использовании данного сервиса, вы подтверждаете свое согласие на использование файлов «cookies». Файлы «cookies» будут сохранены в памяти вашего устройства (ЭВМ). Вы можете изменить настройки файлов «cookies» в вашем браузере, однако такие изменения могут повлиять на функциональность сервиса и ограничить его использование.

Настоящим Я даю свое полное согласие на получение электронных уведомлений (на указанные мой абонентский номер и адрес электронной почты), а также выражаю явное и полное согласие на сбор, хранение, обработку и передачу персональных данных, согласно положениям, изложенным в Политике конфиденциальности, расположенных по адресу: promopult.ru/rules.html?op=private, с которыми я ознакомился и принял.