Всем хочется, чтобы опубликованные материалы мгновенно попадали в индекс и сразу же приводили посетителей. Особенно это актуально при продвижении в Яндексе, которому порой требуется несколько апдейтов для индексации новой страницы. А что если за это время истечет актуальность статьи? Получается, что вы зря потратили ресурсы на ее создание. Если вы хотите, чтобы статьи уже спустя пару часов после публикации были доступны в поиске, следуйте представленным ниже советам.

Почему не индексируется сайт?

Проблемы с индексацией сайта бывают трех типов:

  • страницы долго индексируются (зачастую причина — в низкой частоте обновления контента на сайте, и робот просто реже его посещает; также проблема может крыться в плохой SEO-оптимизации, некачественном контенте и сайте в целом);
  • страницы не индексируются ни Яндексом, ни Google (в этом случае нужно убедиться, что не установлен запрет на обход площадки роботами в robots.txt, настройках хостинга или в мета-тегах robots);
  • страницы не индексируются только одним поисковиком (стоит проверить сайт на фильтры поисковых систем).

Узнайте, какие именно страницы проиндексированы Яндексом и Google. В помощь — специальный инструмент от PromoPult. После этого вы сможете оценить характер и масштаб проблемы. Подробная инструкция — здесь.

Последние две проблемы устраняются или очень легко (если нужно просто разрешить индексацию страниц) или очень долго (если придется выводить сайт из-под санкций Яндекса или Google). В этой же статье рассмотрим именно способы ускорения индексации.

Способы ускорения индексирования сайта поисковиками

1. Улучшите внутреннюю SEO-оптимизацию

Начните с сайта. Проблемы с внутренней оптимизацией могут усложнить индексацию.

Проверьте файл robots.txt

Что нужно сделать:

  • проверить, есть ли вообще файл robots.txt (располагается в корневой папке сайта; если его нет — создать и настроить);
  • убедиться, что в нем нет запрета на индексацию (подлежащие индексации страницы не должны быть закрыты директивой Disallow);
  • закрыть доступ к системным файлам, страницам авторов, архивов, тегов, результатов поиска (в противном случае робот будет тратить время на сканирование бесполезных для поиска файлов, и может так и не успеть добраться до основного контента);
  • проверить правильность синтаксиса robots.txt.

Найти ошибки в robots.txt можно в Яндекс.Вебмастере в разделе Инструменты / Анализ robots.txt. Для этого укажите URL сайта или скопируйте содержимое файла в поле нажмите «Проверить». Здесь же есть функционал для проверки доступности для индексации отдельных URL — просто укажите интересующий URL в поле «Разрешены ли URL?», нажмите «Проверить», и система выдаст ответ.

проверка индексации страниц

Создайте sitemap.xml

Этот файл содержит ссылки на все страницы сайта и помогает поисковикам сориентироваться в его структуре.  Если появляются новые страницы, они попадают в sitemap.xml, и роботы их быстрее находят.

После создания sitemap.xml пропишите в robots.txt строку для указания роботу пути к файлу:

Sitemap: http://site.ru/sitemap.xml

Также укажите путь в панелях для вебмастеров:

  • Яндекс.Вебмастер: Инструменты / Анализ файлов Sitemap;
  • Google Search Console: Индекс / Файлы Sitemap.

Чтобы не обновлять файл вручную после появления новых страниц, используйте динамический sitemap.xml (настраивается с помощью плагинов, например, All in One SEO Pack, или средствами PHP). Он создается каждый раз перед обращением робота (а значит, всегда актуален).

Добавьте HTML-карту сайта

Создайте отдельную страницу, с которой будут идти ссылки на все значимые страницы ресурса. Это полезно не только для посетителей, но и для индексации роботами, а также является одним из способов перелинковки.

Важно! HTML и XML-карта — не одно и то же. HTML-карта располагается на сайте, ее видят пользователи. XML-карта нужна только поисковикам, пользователи ее не видят.

Проверьте ответы сервера

Сервер при обращении поискового робота должен отдавать код 200 (если страница существует) и код 404 (если страницы не существует). Кроме того, время ответа не должно превышать 1,5-2 с — в противном случае робот может не дождаться и покинуть сайт.

Проверить ответ сервера можно в Яндекс.Вебмастере в разделе Инструменты / Проверка ответа сервера.

проверка ответа сервера яндекс

Подробно о кодах ответа сервера мы рассказывали в этой статье.

Сделайте внутреннюю перелинковку

В теле статей ставьте ссылки на другие страницы сайта. Также добавьте похожие записи (в конце статей) и популярные или новые записи (в сайдбаре). Не делайте более 3-4 уровней вложенности — страницы на 5 и 6 уровне индексируются хуже.

Хотите научиться расставлять внутренние ссылки так, чтобы улучшить  поведенческие показатели и позиции в поиске? В статье «Как сделать перелинковку для успешного SEO и роста конверсий» описаны все самые эффективные подходы.

Пишите полезные и уникальные тексты

Если вы размещаете плагиат или поверхностный рерайт, то не удивляйтесь, что страницы не попадают в индекс. Поисковики считают такой контент дублирующимся и не несущим ценности для пользователей. О том, какими должны быть грамотно оптимизированные тексты для сайта, читайте здесь.

Чаще публикуйте записи и обновляйте страницы

Поисковики любят «живые» сайты. Если несколько месяцев ничего не размещали, то робот перестает регулярно посещать сайт.

Как поддерживать актуальность сайта:

  • публикуйте новые записи не реже 1 раза в неделю;
  • добавляйте ссылки со старых страниц на новые материалы;
  • актуализируйте и обновляйте информацию на сайте;
  • настройте заголовки Last-Modified и If-Modified-Since (так поисковики будут обходить старые страницы только после внесенных на них изменений).

Устраните дубли на сайте

Дубли создают не только неудобства для вебмастеров, но и ухудшают качество сайта в глазах поисковиков. Они могут быть:

  • явными (URL со слешем в конце и без него, с WWW и без WWW, с HTTP и HTTPS, с GET-параметрами);
  • неявными (дубли страниц с комментариями, страницы товаров со схожими описаниями, страницы пагинации).

Устраняются они путем настройки 301 редиректа, указания канонических страниц, с помощью robots.txt. Все способы с примерами описаны в статье «Что такое дубли на сайте и как с ними бороться?».

2. Используйте инструменты для вебмастеров

После запуска сайта обязательно зарегистрируйте его в панелях для вебмастеров: в Яндекс.Вебмастере и Google Search Console. Так вы сообщите поисковикам о появлении нового сайта, сможете отслеживать динамику индексации, будете получать уведомления об ошибках.

После создания новой страницы или обновления старой необходимо уведомить об этом поисковики, чтобы ускорить индексацию (переиндексацию). Делается это с помощью так называемых «аддурилок» (от англ. «add URL» — «добавить URL»).

В Яндексе этот инструмент находится в Вебмастере (раздел Индексирование / Переобход страниц). Введите новый URL и нажмите «Отправить».

переобход страниц для ускорения индексации в яндексе
«Аддурилка» Яндекса

До изменения в 2018 году интерфейса Search Console в Google был инструмент, который позволял добавлять любую страницу для переобхода. До сих пор в сети «висит» масса статей со ссылками на этот инструмент и описанием его работы, но он больше не поддерживается.

Как ускорить индексацию сайта: 5 советов
Старая «аддурилка» Google

Новые страницы в Google уже не нужно куда-то добавлять для индексации — достаточно того, чтобы они были в sitemap.xml. А вот старые страницы, на которых вы изменили контент, можно переиндексировать быстрее. Для этого перейдите в новый интерфейс Search Console в раздел «Проверка URL», введите адрес интересующей страницы и нажмите кнопку «Запросить индексирование». Это сигнал роботу обойти страницу вне очереди.

аддурилка гугла

Данные действия — не гарантия попадания страницы в индекс или ускорения процесса (сами же поисковики ничего не обещают). Но поскольку такие инструменты есть, ими грех не воспользоваться.

3. Добавьте сайт в RSS-каналы, каталоги, рейтинги и соцсети

RSS-каналы и топовые каталоги хорошо индексируются поисковыми системами, и если в них будут ссылки на ваш сайт, то повысится вероятность быстрой индексации.

Добавьте сайт в бесплатные RSS-агрегаторы:

  • liverss.ru
  • rssreader.ru
  • feeds.feedburner.com

Обратите внимание и на бесплатные рейтинги:

  • top100.rambler.ru
  • top.mail.ru
  • liveinternet.ru

Также для ускорения индексации советуем «прогнать» новую запись по соцсетям. Особенно важны Twitter, ВК, Facebook, Одноклассники.

4. Используйте пинг-сервисы

С помощью пинг-сервисов вы уведомляете поисковые системы о появлении новых страниц на сайте. В интернете можно найти громадные списки пинг-сервисов, и многие используют сразу все. Это ошибка. В данном случае принцип «чем больше, тем лучше» не работает. Достаточно 5-7 сервисов:

пинг сервисы в вордпрессе
Пример списка пинг-сервисов для блога на WordPress

Практика показывает, что использование пинг-сервисов ускоряет индексацию — особенно это заметно в случае с молодыми сайтами, которым меньше 6 месяцев.

5. Нарабатывайте «жирные» ссылки

Чем больше будет ссылок на ваш ресурс с авторитетных площадок, тем лучше. Это повысит значимость сайта в глазах поисковиков. Проблема в том, что на «добычу» естественных ссылок нужны годы.

Ускорить процесс можно, сотрудничая напрямую с вебмастерами с целью интеграции ссылок на трастовых ресурсах. Найти релевантные площадки можно с помощью модуля PromoPult «Естественные ссылки» — достаточно добавить сайт, и система самостоятельно подберет ключи, посадочные страницы и внешние ресурсы.

Если у вас возникнут вопросы, то всегда можно воспользоваться услугой «Персональный менеджер» — специалист проведет аудит сайта, будет регулярно высылать рекомендации по его улучшению и отвечать на возникающие вопросы.

⌃ ↩

Это либо рерайт какой-то старой статьи, либо вы плохо следите за новостями вашей индустрии — DMOZ закрылся несколько дней назад.

0
Команда SeoPult

Спасибо за замечание — внесем правки. Данная статья была подготовлена незадолго до закрытия DMOZ. На момент публикации не уследили за актуальностью информации.

0

Спасибо за замечание — внесем правки. Данная статья была подготовлена незадолго до закрытия DMOZ. На момент публикации не уследили за актуальностью информации.

0

По индексации страницы своего сайта все ясно. Для получения обратных ссылок рекомендуют регистрироваться на форумах, в каталогах и т.д. Ссылка на ресурс стоит в профиле.
Как сделать чтобы проиндексировалась страница с где стоит ссылка на мой сайт?

0

Для ускорения индексации нового сайта можно воспользоваться этим бесплатным сервисом https://topvector.ru/backlinks.html. Есть возможность использовать свой список сайтов-доноров.

0
Георгий Жуков

Есть новостной портал, но в индекс с 40 уникальных (100%) статей в день попадает 3-5 шт. Роботу не запрещено бегать по сайту. Все новости публикуются в ФБ и Твитере.

Подскажите как ускорить индексацию статей на сайте?

Сайт https://www.infopotik.com.ua

0

Настоящий сервис собирает информацию, зарегистрированную в файлах «cookies» для целей адаптации функционала сервиса к потребностям пользователей, в целях сбора статистической информации для анализа и улучшения качества работы сервиса, а также в рекламных целях. При использовании данного сервиса, вы подтверждаете свое согласие на использование файлов «cookies». Файлы «cookies» будут сохранены в памяти вашего устройства (ЭВМ). Вы можете изменить настройки файлов «cookies» в вашем браузере, однако такие изменения могут повлиять на функциональность сервиса и ограничить его использование.

Настоящим Я даю свое полное согласие на получение электронных уведомлений (на указанные мой абонентский номер и адрес электронной почты), а также выражаю явное и полное согласие на сбор, хранение, обработку и передачу персональных данных, согласно положениям, изложенным в Политике конфиденциальности, расположенных по адресу: promopult.ru/rules.html?op=private, с которыми я ознакомился и принял.