Деиндексация страниц и поисковые роботы Google
| Питер Джей Мейерс (Dr. Peter J. Meyers ) — президент компании User Effect, также он является психологом, предпринимателем, маркетологом. Последние 13 лет работает с коммерческими интернет-проектами. |
После обновления Panda все больше и больше людей пытаются управлять индексацией своего сайта в Google и удалять из нее низкокачественные страницы. Я убежденный сторонник активного управления индексацией, но это не всегда легко. Существует несколько распространенных ошибок. Одна из них — думать, что для того, чтобы исключить страницу из индексации, нужно перекрыть путь к ней для поисковых роботов. Звучит логично: если вы не хотите, чтобы страница индексировалась, зачем вам пускать на нее роботов? К сожалению, хотя это и звучит логично, это неверно. Рассмотрим один пример…
Сценарий: обзоры продукции
Представим, что у нас есть приличных размеров сайт, посвященный торговле через интернет. На этом сайте 1000 уникальных страниц с товарами. Эти страницы выглядят примерно так:
Каждая страница с товаром имеет, разумеется, собственный URL, и все эти URL структурированы следующим образом:
- http://www.example.com/product/1
- http://www.example.com/product/2
- http://www.example.com/product/3
- http://www.example.com/product/1000
Скажем, каждая такая страница с товаром содержит ссылку на страницу с обзором этого товара:

Эти страницы с обзорами также имеют собственные URL (привязанные к названию или идентификационному номеру продукции):
- http://www.example.com/review/1
- http://www.example.com/review/2
- http://www.example.com/review/3
- http://www.example.com/review/1000
К сожалению, мы наштамповали 1000 дублирующих страниц, ведь каждая страница с обзором — это просто форма, у которой нет уникального содержания. Такие страницы не имеют поисковой ценности, они только разбавляют наш индекс. Поэтому мы принимаем решение действовать…
«Решение», часть 1
Мы хотим убрать эти страницы из индексирования, поэтому решаем воспользоваться тегом META NOINDEX (Meta Robots). И, раз уж мы хотим, чтобы эти страницы вообще не индексировались, мы также решаем применить