Деиндексация страниц и поисковые роботы Google

После обновления Panda все больше и больше людей пытаются управлять индексацией своего сайта в Google и удалять из нее низкокачественные страницы. Я убежденный сторонник активного управления индексацией, но это не всегда легко. Существует несколько распространенных ошибок. Одна из них — думать, что для того, чтобы исключить страницу из индексации, нужно перекрыть путь к ней для поисковых роботов. Звучит логично: если вы не хотите, чтобы страница индексировалась, зачем вам пускать на нее роботов? К сожалению, хотя это и звучит логично, это неверно. Рассмотрим один пример…
Сценарий: обзоры продукции
Представим, что у нас есть приличных размеров сайт, посвященный торговле через интернет. На этом сайте 1000 уникальных страниц с товарами. Эти страницы выглядят примерно так:

Каждая страница с товаром имеет, разумеется, собственный URL, и все эти URL структурированы следующим образом:

• http://www.example.com/product/1
• http://www.example.com/product/2
• http://www.example.com/product/3
• http://www.example.com/product/1000

Скажем, каждая такая страница с товаром содержит ссылку на страницу с обзором этого товара:

Эти страницы с обзорами также имеют собственные URL (привязанные к названию или идентификационному номеру продукции):

• http://www.example.com/review/1
• http://www.example.com/review/2
• http://www.example.com/review/3
• http://www.example.com/review/1000

К сожалению, мы наштамповали 1000 дублирующих страниц, ведь каждая страница с обзором — это просто форма, у которой нет уникального содержания. Такие страницы не имеют поисковой ценности, они только разбавляют наш индекс. Поэтому мы принимаем решение действовать…

«Решение», часть 1
Мы хотим убрать эти страницы из индексирования, поэтому решаем воспользоваться тегом META NOINDEX (Meta Robots). И, раз уж мы хотим, чтобы эти страницы вообще не индексировались, мы также решаем применить «nofollow» и к ссылкам на обзоры. Наша первая попытка сделать это выглядит примерно вот так:

На первый взгляд здесь все нормально. Но есть одна проблема: эти красные стрелки на картинке – перекрытые пути, которые, по идее, должны блокировать доступ поисковым роботам. Если роботы никогда не попадут на страницы с обзорами, то не смогут и прочесть тег NOINDEX, поэтому, эти страницы не будут деиндексированы. Или, в лучшем случае, это займет гораздо больше времени (а деиндексация и так занимает много времени на крупных сайтах).

Решение, часть 2
Вместо этого давайте оставим пути открытыми (пусть роботы имеют возможность перейти по ссылкам). Так поисковики будут продолжать посещать страницы, а URL дублирующих обзоров постепенно будут исчезать:

Учтите, что этот процесс все равно может занять некоторое время (чаще всего несколько недель). Проверяйте свой индекс (оператором «site:») каждый день — вы должны увидеть плавное снижение. Если так, то все идет правильно. Совет: не воспринимайте слишком серьезно показатели «site:» для какого-то отдельного дня — время от времени они бывают не вполне достоверными. Обращайте внимание на общие тенденции.

Новые и существующие сайты
Думаю, важно здесь отметить, что все вышеописанное применимо только к существующим сайтам, в которых дублирующие URL уже были проиндексированы. Если же вы запускаете новый сайт, то применение «nofollow» к ссылкам на обзоры будет вполне оправданным. Вы, также, может быть, захотите расставить теги «nofollow», после того как ненужные URL будут деиндексированы. Главное, не делать этого сразу — дайте поисковым роботам время выполнить их работу.

301, Rel-canonical и т.п.
Хотя в примере я использовал теги nofollow и META NOINDEX, подходит любой способ блокирования внутренних ссылок (включая полное удаление) и любой сигнал индексации для страниц или заголовков. Сюда входят и 301-редиректы, и канонические теги (rel canonical). Для обработки этих сигналов Google должен просмотреть страницы. Если вы перекроете путь раньше, чем Google заново их просмотрит, то эти сигналы не смогут выполнить свое предназначение.

Не надо опережать события
Естественно, вы хотите решить все проблемы быстро (особенно если вы теряете трафик или прибыль), а проблемы с индексацией очень раздражают, но старайтесь правильно рассчитать время. Если вы перекроете роботам пути до того, как они обработают сигналы деиндексации, или станете использовать все возможные методы решения проблемы сразу (NOINDEX + 301 + canonical +?), вы, скорее всего, только усугубите ситуацию. Лучше выберите оптимальный для вашей задачи инструмент и дайте ему время сработать.

Апдейт: несколько пользователей в комментариях указали на то, что можно использовать карты сайта XML, чтобы Google-боты поскорее заново проверили страницы без внутренних ссылок. Это правильно, я просто забыл об этом написать. Хотя внутренние ссылки более сильны, карта сайта XML с удаленными или отмеченными «nofollow» URL может помочь ускорить процесс. Это особенно эффективно, когда нет возможности вернуть URL на место (например, глобальная реконструкция сайта).