История развития поисковых алгоритмов Яндекса до 2018 года

Знание истории поисковых алгоритмов полезно не только для общего развития, но и для понимания логики работы поисковика — к чему все идет и как оптимизировать сайт с учетом трендов. Про алгоритмы Google мы уже рассказывали — пришло время восполнить пробел и собрать в один пост актуальные сведения (на 2018 год) об алгоритмах Яндекса.

«Рождение» Яндекса

Все началось в 1989 году, когда Аркадий Волож основал компанию CompTek (продажа сетевого и телекоммуникационного оборудования). Воложа интересовало создание программы, которая бы искала информацию в больших объемах текста с учетом морфологии языка. Для этих целей совместно с лингвистом Аркадием Борковским была основана компания «Аркадия», на базе которой в 1990 году были запущены две системы поиска информации. До 1993 года их активно использовали НИИ и патентные бюро.

В 1993 году «Аркадию» присоединили к CompTek. В этом же году при участии программиста Ильи Сегаловича было разработано приложение для поиска информации на жестком диске ПК. Называлось оно «Yandex» (Yet ANother inDEXer — «ещё один индексатор»).

Команда Яндекса в самом начале пути

В 1995 году решено расширить сферу применения программы «Yandex» — теперь она могла обрабатывать тексты из русскоязычного интернета и искать в них информацию. Официальная же презентация поисковика Yandex.ru состоялась 23 сентября 1997 года.

Дизайн поисковика Яндекс в 1998 году

Яндекс — далеко не первый поисковик Рунета. С 1995 года уже успешно работала AltaVista, с 1996 — Рамблер. Но спустя 4 года после презентации Яндекс впервые обошел все отечественные поисковики, и с тех пор не сдает позиций.

История алгоритмов Яндекса

Изначально релевантность документов, согласно которой они ранжировались в поиске, определялась с учетом положения ключевых слов, частоты их упоминания и расстояния между ними. То есть каждый желающий мог посчитать ключевые слова на страницах конкурентов, добавить большее их количество на свою страницу, и она гарантированно оказывалась в ТОПе. Поскольку в 1997-1998 годах количество документов в русскоязычном интернете было невысоким, то такой подход всех устраивал. Но с увеличением количества документов разработчикам поисковика пришлось думать, как более объективно оценивать релевантность страниц.

Первые масштабные обновления (1999)

В 1999 году Яндекс проиндексировал более 7 млн документов. Поисковик обучили индексировать не только тексты, но и подписи к изображениям, ключевики, мета-описания, ссылки. Появился тематический индекс цитирования (тИЦ), который на ближайшие 5-6 лет стал «Граалем» для SEO-оптимизаторов, ведь именно от значения тИЦ во многом зависели позиции в поиске. Поработали в Яндексе и над совершенствованием антиспам-фильтров.

Новая версия поисковика (06.06.2000)

Основные изменения:

• параллельный поиск новостей и товаров (роботы сканируют не только основной индекс, но и сайты партнеров — информагентств и интернет-магазинов — и выдают актуальную информацию);
• синтаксический анализ (при определении релевантности документа учитываются синтаксические зависимости между словами);
• ограничение поиска определенной тематикой (благодаря интеграции с каталогом List.Ru);
• «Популярные находки» (пользователи могут увидеть документы, которые пользовались наибольшей популярностью среди тех, кто вводил аналогичный запрос);
• «Новостной Yandex» (поиск информации по новостям, в том числе за определенный период).

В этом же году запущены сервисы: Яндекс.Гуру и Яндекс.Товары (которые эволюционировали в Яндекс.Маркет), Яндекс.Почта, Яндекс.Открытки, Яндекс.Бар, Яндекс.Закладки и др. Также появилась минималистичная версия Яндекса — ya.ru.

Повышение точности поиска (23.05.2001)

Теперь при ранжировании учитывается:

• количество обратных ссылок;
• качество ссылающихся сайтов;
• анкоры обратных ссылок.

Также внедрен механизм уточнения запросов. Например, если пользователь вводил запрос «куплю шкаф», то поисковик предлагал уточнить, нужно ли купить шкаф для себя или продать тому, кто подал объявление «куплю шкаф». Сегодня такой подход кажется забавным, поскольку Яндекс прекрасно понимает интент, но тогда это был прорыв.

Запуск Яндекс.Директа (31.05.2001)

Отныне для того, чтобы оказаться на первых позициях в результатах выдачи, необязательно заниматься SEO-оптимизацией — достаточно просто настроить контекстную рекламу. Это навсегда изменило подходы к рекламе сайтов в рунете.

Запуск сервиса Яндекс.Картинки (14.06.2002)

Сайты получили возможность получать трафик не только с основного поиска, но и поиска по картинкам, которые ранжировались с учетом описания, размера файла и взвешенного индекса цитирования (вИЦ).

Индексация новых форматов (20.02.2003)

Яндекс начал индексировать документы в форматах RTF и PDF и выводить ссылки на них в результатах поиска. Спустя 4 месяца индексироваться начали и документы в формате DOC.

Результаты поиска в формате XML (13.11.2003)

Это позволило открыть доступ разработчикам к созданию приложений на основе поисковой выдачи Яндекса. Кроме того, теперь Яндекс.Поиск можно встроить на любой сайт.

Изменение алгоритма ранжирования (26.03.2004)

Что изменилось:

• при ранжировании начали учитываться асессорские оценки — теперь не только роботы, но и реальные люди определяют релевантность страниц;
• устранены дубли страниц в результатах выдачи;
• улучшен региональный поиск (Яндекс определяет, откуда идет запрос, и предлагает поискать результаты именно по данному региону);
• к русскому и английскому языку поиска добавился украинский, белорусский, французский и немецкий.

В этом же году запущен поиск по Яндекс.Картам и индексация файлов в формате XLS и PPT.

Запуск Вордстата (20.04.2005)

Вебмастера получили возможность собирать информацию о популярных запросах (частотность, регион) и оптимизировать под них страницы сайтов.

Запуск быстрого робота (01.08.2005)

Он призван быстро индексировать актуальные страницы. В итоге время индексации наиболее посещаемых сайтов сократилось с пары недель до пары часов.

Улучшение ранжирования (25.08.2005)

Изменения:

• страницы, которые посвящены теме запроса, ранжируются выше, чем страницы, посвященные смежным или более широким темам;
• если пользователь вводит название компании, то вверху выдачи повышается количество страниц именно с этого сайта, а не конкурентов.

Преференции для региональных магазинов в Маркете (11.09.2006)

При поиске товаров в Яндекс.Маркете пользователи в первую очередь будут видеть те из них, которые находятся и работают поблизости. Это был важный шаг на пути к учету региональности в результатах поисковой выдачи.

Интеграция поиска на смартфоны Nokia (09.11.2006)

Nokia и Яндекс выпустили плагин для поиска информации на смартфонах на платформе Series 60. Это первая ласточка «мобилизации» Яндекса.

Витальные запросы (21.12.2007)

По витальным запросам, которые содержат название компании или бренда, Яндекс начал на первой позиции выводить официальные сайты компаний. Кроме того, поисковик лучше научился понимать интент пользователей и более тщательно относиться к качеству обратных ссылок.

В этот же день пользователи получили доступ к Яндекс.Вебмастеру — кабинету для вебмастеров, с помощью которого можно анализировать входящие и исходящие ссылки, увидеть список страниц в поиске и оценить корректность robots.txt.

Алгоритм «Магадан» (14.04.2008)

С 2007 года Яндекс начал активно улучшать качество поиска. Изменений стало так много, что потребовалось их как-то систематизировать. Поэтому с 2008 года все значимые изменения в алгоритмах начали называть в честь городов. Первый в списке — «Магадан».

Вначале вебмастерам предложили попробовать новую версию поисковой программы на отдельном домене. После доработки с 16 мая «Магадан» обосновался на основном домене Яндекса.

Что изменилось:

• в 2 раза увеличилось количество факторов ранжирования;
• поисковик начал лучше различать одни типы страниц и ссылок от других;
• Яндекс начал понимать значения аббревиатур и слов, написанных транслитерацией;
• улучшение поиска в ответ на многословные запросы.

«Магадан 2.0» (02.07.2008)

Улучшены и добавлены новые факторы ранжирования, в частности:

• уникальность контента;
• идентификация adult-контента;
• геоклассификация запроса;
• коммерциализированность запроса.

«Находка» (11.09.2008)

Изменения:

• повышено качество выдачи по запросам со стоп-словами (сюда относятся знаки препинания, местоимения, междометия и т. п.);
• внедрен улучшенный алгоритм машинного обучения;
• расширен тезаурус (например, теперь Яндекс понимает, что «автозапчасть» и «авто запчасть» — это одно и то же).

«Арзамас» (анонсировался как «Анадырь») (10.04.2009)

Изменения:

• снятие омонимии (например, по запросу «дверные ручки» Яндекс мог выдавать документы и о дверных, и о шариковых ручках; теперь же его научили понимать, что пользователь хочет читать именно о дверных ручках);
• учет региональности при ранжировании результатов (например, по запросу «дешевая парикмахерская» пользователи из Москвы и Владивостока получат разную выдачу, адаптированную под конкретный регион).

Анти-popunder (30.04.2009)

С этого момента наличие на сайте popunder-рекламы начало негативно влиять на ранжирование.

«Арзамас 1.1» (24.06.2009)

Исправлены ошибки и улучшена формула ранжирования по запросам, которые содержат много слов. Пользователи из России (за исключением Москвы, СПб и Екатеринбурга) увидели новые результаты выдачи.

«Арзамас 1.2» (17.07.2009)

Понимая, что нельзя по всем запросам привязывать выдачу к региону, в Яндексе поработали над улучшением классификатора геозависимости запросов. Теперь выдача по геонезависимым запросам по России одинакова, а по геозависимым — отличается только в Москве, СПб и Екатеринбурге.

В этом же году выходило еще несколько версий «Арзамаса»: 1.2, 1.3, +16, 1.5, 1.5 SP1. Цель — улучшить региональную выдачу и общую формулу. В частности, региональное ранжирование введено еще в 16 городах России.

«Снежинск» (17.11.2009)

Яндекс начал ранжировать документы на основе механизма машинного обучения Матрикснет. Количество факторов увеличилось в разы. Теперь формула стала уникальной для каждой группы запросов.

АГС-30 (18.12.2009)

Одновременно с запуском алгоритма АГС-30, направленного на борьбу с сайтами, которые создавались для продажи ссылок, Яндекс официально объявил о том, что похожий алгоритм под названием АГС-17 уже полгода как работает. АГС-17 показал себя с положительной стороны, поэтому его решили улучшить. АГС-30 учитывал около 100 факторов, на основе которых отсеивал некачественные сайты.

Это первый серьезный шаг в борьбе с «черным» SEO. Хотя пройдет еще не один год, прежде чем Яндекс добьется успеха в этом направлении.

«Конаково» (22.12.2009)

Расширен учет региональности — теперь выдача отличается не для 19, а для 1250 городов России.

«Краснодар» (15.12.2010)

В течение 2010 года было несколько крупных релизов. Так, улучшена общая формула ранжирования («Снежинск 1.1»), запущен Яндекс.Поиск в Республике Беларусь и поиск по всему миру, начала учитываться геозависимость запросов в Украине («Полтава»), появилась версия Яндекса для Татарстана (на татарском языке). Но самым заметным и значимым было внедрение алгоритма «Краснодар» (технология «Спектр»).

Суть в том, что по запросам с неоднозначным интентом Яндекс выдает результаты из разных категорий и под разные потребности (с учетом статистики запросов и переходов).

Например, если пользователь вводит «орбита», то нельзя однозначно понять, что он хочет — почитать о земной орбите или сходить в кинотеатр «Орбита». Поисковик знает, что 80% людей, которые вводили это запрос ранее, искали кинотеатр, поэтому предлагает 8 результатов выдачи со ссылкой на кинотеатры, рейтинги и сервисы по продаже билетов, а 2 — со ссылкой на статьи о движении небесных тел.

«Калининград» (12.12.2012)

Внедрен персональный поиск. Теперь при формировании поисковых подсказок и результатов выдачи учитываются интересы пользователей и их поведение в поиске. Это усложнило жизнь оптимизаторам, ведь выдача стала уникальной для каждого пользователя.

«Острова» (16.05.2013)

В поиск внедрены интерактивные ответы. Теперь пользователи могут взаимодействовать с сайтами еще до перехода на них. Есть 3 вида интерактивных ответов: информационные (курсы валют, прогноз погоды), поисковые (формы для поиска билетов, объявлений), транзакционные (регистрация на рейс, заказать услугу и т. п.).

Технология до сих пор работает (правда, преимущественно на сервисах Яндекса):

АГС-40 (06.11.2013)

Это логическое продолжение алгоритмов АГС-17 и АГС-30. Со времени выхода первых АГС прошло почти 4 года, и вебмастера успели подстроиться и найти «лазейки» в поисковике. АГС-40 как раз и направлен на то, чтобы их закрыть.

«Минусинск» (15.05.2015)

Фильтры АГС в определенной степени были эффективны, но после каждого апдейта сеошники находили способы использовать технологии массовой закупки ссылок без последствий. Яндекс зашел с другой стороны — он начал пессимизировать коммерческие сайты, которые покупают некачественные ссылки. Многие ресурсы, стоящие в ТОПе, потеряли свои позиции. Мы проводили детальный разбор данного алгоритма, с которым можно ознакомиться здесь.

Вскоре фильтр был снят, но позиции возвращались не всегда, поскольку объем входящей ссылочной массы резко падал. Алгоритм «Минусинск» оказал колоссальное влияние на рынок SEO. Он обратил внимание специалистов по оптимизации и владельцев сайтов на тот факт, что для успешного продвижения нужно работать с комплексом факторов, и в первую очередь фокусироваться на качестве сайта и контента. С этого момента вебмастера стали делать упор на внутренней оптимизации сайта и получении естественных ссылок путем гостевого блоггинга, создания инфоповодов, обмена контентом, размещения рекламы и т. п.

«Владивосток» (02.02.2016)

Всеобщая «мобилизация» не осталась незамеченной Яндексом. С конца 2015 года в выдаче Яндекс начал помечать сайты, оптимизированные под мобильные устройства. Затем объявил о том, что адаптация под мобильные — это фактор ранжирования.

Проверка мобилопригодности сайта в Яндекс.Вебмастере

«Палех» (03.11.2016)

Алгоритм создан для того, чтобы Яндекс мог лучше отвечать на многословные уникальные запросы, по которым нереально собрать статистику предпочтений пользователей. За обработку информации, понимание интента и выдачу результатов отвечает искусственный интеллект. Его научили понимать не отдельные слова, а смысл написанного.

«Баден-Баден» (23.03.2017)

Этот алгоритм стал прорывом в борьбе с текстовой переоптимизацией. Избыточное количество ключевых фраз, скрытие текста, уменьшение шрифта, бессмысленные описания — все это технологии манипуляции выдачей.

«Плохой» текст (пример от Яндекса)

Такие тексты бесполезны для пользователей. Яндекс разработал алгоритм, который пессимизирует сайты за использование подобных технологий. Исследование данного алгоритма и причин наложения фильтра вы можете прочесть в этой публикации.

«Королёв» (22.08.2017)

Это логическое продолжение «Палеха». Только теперь алгоритм для формирования результатов выдачи сопоставляет смысл запроса не со смыслом заголовка, а со смыслом всей страницы.

Турбо-страницы (22.11.2017)

В открытом доступе появилась технология создания Турбо-страниц (аналог AMP Google), которые ускоряют загрузку контента на мобильных устройствах. Для просмотра контента пользователям необязательно переходить на сайт — содержимое подгружается прямо в интерфейсе поисковика.

Закрытие Яндекс.Каталога (20.12.2017)

Вслед за закрытием DMOZ о закрытии своего каталога объявил Яндекс. Столь желанный для целых поколений оптимизаторов ресурс стал бесполезен. UPD: по всей видимости, каталог DMOZ возрождается.

Яндекс.Диалоги (29.05.2018)

Теперь каждый представитель бизнеса может принимать заказы или отвечать на вопросы пользователей через поисковик (без перехода на сайт) и голосовой помощник Алиса.

Больше внимания качеству (01.06.2018)

Яндекс еще больше внимания обращает на качество контента (не только текстового), оформление, верстку, удобство навигации по сайту, уместность и количество рекламы.

Заключение

Исследование алгоритмов Яндекса показывает, что для достижения ТОПа не получится, как раньше, проставить обратные ссылки, распределить ключевики по страницам и ждать результата. Нужен комплексный маркетинг — улучшение сайта, создание полезного контента, контекстная реклама, реклама в соцсетях, управление репутацией. Все эти инструменты интернет-маркетинга доступны каждому в системе SeoPult.