История развития поисковых алгоритмов Яндекса до 2020 года

Знание истории поисковых алгоритмов полезно не только для общего развития, но и для понимания логики работы поисковика — к чему все идет и как оптимизировать сайт с учетом трендов. Про алгоритмы Google мы уже рассказывали — пришло время восполнить пробел и собрать в один пост актуальные сведения (на конец 2020-го года) об алгоритмах Яндекса.

«Рождение» Яндекса

Все началось в 1989 году, когда Аркадий Волож основал компанию CompTek (продажа сетевого и телекоммуникационного оборудования). Воложа интересовало создание программы, которая бы искала информацию в больших объемах текста с учетом морфологии языка. Для этих целей совместно с лингвистом Аркадием Борковским была основана компания «Аркадия», на базе которой в 1990 году были запущены две системы поиска информации. До 1993 года их активно использовали НИИ и патентные бюро.

В 1993 году «Аркадию» присоединили к CompTek. В этом же году при участии программиста Ильи Сегаловича было разработано приложение для поиска информации на жестком диске ПК. Называлось оно «Yandex» (Yet ANother inDEXer — «ещё один индексатор»).

Команда Яндекса в самом начале пути

В 1995 году решено расширить сферу применения программы «Yandex» — теперь она могла обрабатывать тексты из русскоязычного интернета и искать в них информацию. Официальная же презентация поисковика Yandex.ru состоялась 23 сентября 1997 года.

Дизайн поисковика Яндекс в 1998 году

Яндекс — далеко не первый поисковик Рунета. С 1995 года уже успешно работала AltaVista, с 1996 — Рамблер. Но спустя 4 года после презентации Яндекс впервые обошел все отечественные поисковики, и с тех пор не сдает позиций.

История алгоритмов Яндекса

Изначально релевантность документов, согласно которой они ранжировались в поиске, определялась с учетом положения ключевых слов, частоты их упоминания и расстояния между ними. То есть каждый желающий мог посчитать ключевые слова на страницах конкурентов, добавить большее их количество на свою страницу, и она гарантированно оказывалась в топе. Поскольку в 1997-1998 годах количество документов в русскоязычном интернете было невысоким, то такой подход всех устраивал. Но с увеличением количества документов разработчикам поисковика пришлось думать, как более объективно оценивать релевантность страниц.

Первые масштабные обновления (1999)

В 1999 году Яндекс проиндексировал более 7 млн документов. Поисковик обучили индексировать не только тексты, но и подписи к изображениям, ключевики, мета-описания, ссылки. Появился тематический индекс цитирования (тИЦ), который на ближайшие 5-6 лет стал «Граалем» для SEO-оптимизаторов, ведь именно от значения тИЦ во многом зависели позиции в поиске. Поработали в Яндексе и над совершенствованием антиспам-фильтров.

Новая версия поисковика (06.06.2000)

Основные изменения:

• Параллельный поиск новостей и товаров. Роботы сканируют не только основной индекс, но и сайты партнеров — информагентств и интернет-магазинов — и выдают актуальную информацию.
• Синтаксический анализ. При определении релевантности документа учитываются синтаксические зависимости между словамию.
• Ограничение поиска определенной тематикой (благодаря интеграции с каталогом List.Ru).
• «Популярные находки»: пользователи могут увидеть документы, которые пользовались наибольшей популярностью среди тех, кто вводил аналогичный запрос.
• «Новостной Yandex» — поиск информации по новостям, в том числе за определенный период.

В этом же году запущены сервисы: Яндекс.Гуру и Яндекс.Товары (которые эволюционировали в Яндекс.Маркет), Яндекс.Почта, Яндекс.Открытки, Яндекс.Бар, Яндекс.Закладки и др. Также появилась минималистичная версия Яндекса — ya.ru.

Повышение точности поиска (23.05.2001)

Теперь при ранжировании учитывается:

• количество обратных ссылок;
• качество ссылающихся сайтов;
• анкоры обратных ссылок.

Также внедрен механизм уточнения запросов. Например, если пользователь вводил запрос «куплю шкаф», то поисковик предлагал уточнить, нужно ли купить шкаф для себя или продать тому, кто подал объявление «куплю шкаф». Сегодня такой подход кажется забавным, поскольку Яндекс прекрасно понимает интент, но тогда это был прорыв.

Запуск Яндекс.Директа (31.05.2001)

Отныне для того, чтобы оказаться на первых позициях в результатах выдачи, необязательно заниматься поисковой оптимизацией — достаточно просто настроить контекстную рекламу. Это навсегда изменило подходы к рекламе сайтов в рунете.

Платформа PromoPult — это полный комплекс инструментов для продвижения в интернете: SEO, контекстная и таргетированная реклама, работа с репутацией (SERM), повышение конверсии. Кроме того, есть много бесплатных инструментов, которые экономят время и избавят от рутины. Начинать можно с микробюджетов.

Запуск сервиса Яндекс.Картинки (14.06.2002)

Сайты получили возможность получать трафик не только с основного поиска, но и поиска по картинкам, которые ранжировались с учетом описания, размера файла и взвешенного индекса цитирования (вИЦ).

Индексация новых форматов (20.02.2003)

Яндекс начал индексировать документы в форматах RTF и PDF и выводить ссылки на них в результатах поиска. Спустя 4 месяца индексироваться начали и документы в формате DOC.

Результаты поиска в формате XML (13.11.2003)

Это позволило открыть доступ разработчикам к созданию приложений на основе поисковой выдачи Яндекса. Кроме того, теперь Яндекс.Поиск можно встроить на любой сайт.

Изменение алгоритма ранжирования (26.03.2004)

Что изменилось:

• при ранжировании начали учитываться асессорские оценки — теперь не только роботы, но и реальные люди определяют релевантность страниц;
• устранены дубли страниц в результатах выдачи;
• улучшен региональный поиск (Яндекс определяет, откуда идет запрос, и предлагает поискать результаты именно по данному региону);
• к русскому и английскому языку поиска добавился украинский, белорусский, французский и немецкий.

В этом же году запущен поиск по Яндекс.Картам и индексация файлов в формате XLS и PPT.

Запуск Вордстата (20.04.2005)

Вебмастера получили возможность собирать информацию о популярных запросах (частотность, регион) с помощью сервиса Подбор слов и оптимизировать под них страницы сайтов.

Запуск быстрого робота (01.08.2005)

Он призван быстро индексировать актуальные страницы. В итоге время индексации наиболее посещаемых сайтов сократилось с пары недель до пары часов.

Улучшение ранжирования (25.08.2005)

Изменения:

• Cтраницы, которые посвящены теме запроса, ранжируются выше, чем страницы, посвященные смежным или более широким темам.
• Если пользователь вводит название компании, то вверху выдачи повышается количество страниц именно с этого сайта, а не конкурентов.

Преференции для региональных магазинов на Маркете (11.09.2006)

При поиске товаров в Яндекс.Маркете пользователи в первую очередь будут видеть те из них, которые находятся и работают поблизости. Это был важный шаг на пути к учету региональности в результатах поисковой выдачи.

Интеграция поиска на смартфоны Nokia (09.11.2006)

Nokia и Яндекс выпустили плагин для поиска информации на смартфонах на платформе Series 60. Это первая ласточка «мобилизации» Яндекса.

Витальные запросы (21.12.2007)

По витальным запросам, которые содержат название компании или бренда, Яндекс начал на первой позиции выводить официальные сайты компаний. Кроме того, поисковик лучше научился понимать интент пользователей и более тщательно относиться к качеству обратных ссылок.

В этот же день пользователи получили доступ к Яндекс.Вебмастеру — кабинету для вебмастеров, с помощью которого можно анализировать входящие и исходящие ссылки, увидеть список страниц в поиске и оценить корректность robots.txt.

Алгоритм «Магадан» (14.04.2008)

С 2007 года Яндекс начал активно улучшать качество поиска. Изменений стало так много, что потребовалось их как-то систематизировать. Поэтому с 2008 года все значимые изменения в алгоритмах начали называть в честь городов. Первый в списке — «Магадан».

Вначале вебмастерам предложили попробовать новую версию поисковой программы на отдельном домене. После доработки с 16 мая «Магадан» обосновался на основном домене Яндекса.

Что изменилось:

• в 2 раза увеличилось количество факторов ранжирования;
• поисковик начал лучше отличать одни типы страниц и ссылок от других;
• Яндекс начал понимать значения аббревиатур и слов, написанных транслитерацией;
• улучшились результаты поиска в ответ на многословные запросы.

«Магадан 2.0» (02.07.2008)

Улучшены и добавлены новые факторы ранжирования, в частности:

• уникальность контента;
• идентификация adult-контента;
• геоклассификация запроса;
• степень коммерциализации запроса.

«Находка» (11.09.2008)

Изменения:

• повышено качество выдачи по запросам со стоп-словами (сюда относятся знаки препинания, местоимения, междометия и т. п.);
• внедрен улучшенный алгоритм машинного обучения;
• расширен тезаурус (например, теперь Яндекс понимает, что «автозапчасть» и «авто запчасть» — это одно и то же).

«Арзамас» (анонсировался как «Анадырь») (10.04.2009)

Изменения:

• Снятие омонимии. Например, по запросу «дверные ручки» Яндекс мог выдавать документы и о дверных, и о шариковых ручках. Теперь же его научили понимать, что пользователь хочет найти информацию именно о дверных ручках.
• Учет региональности при ранжировании результатов. Например, по запросу «дешевая парикмахерская» пользователи из Москвы и Владивостока получат разную выдачу, адаптированную под конкретный регион.

Анти-popunder (30.04.2009)

С этого момента наличие на сайте popunder-рекламы начало негативно влиять на ранжирование.

«Арзамас 1.1» (24.06.2009)

Исправлены ошибки и улучшена формула ранжирования по запросам, которые содержат много слов. Пользователи из России (за исключением Москвы, Санкт-Петербурга и Екатеринбурга) увидели новые результаты выдачи.

«Арзамас 1.2» (17.07.2009)

Понимая, что нельзя по всем запросам привязывать выдачу к региону, в Яндексе поработали над улучшением классификатора геозависимости запросов. Теперь выдача по геонезависимым запросам по России одинакова, а по геозависимым — отличается только в Москве, СПб и Екатеринбурге.

О классификации поисковых запросов читайте в этой статье.

В этом же году выходило еще несколько версий «Арзамаса»: 1.2, 1.3, +16, 1.5, 1.5 SP1. Цель — улучшить региональную выдачу и общую формулу. В частности, региональное ранжирование введено еще в 16 городах России.

«Снежинск» (17.11.2009)

Яндекс начал ранжировать документы на основе механизма машинного обучения Матрикснет. Количество факторов увеличилось в разы. Теперь формула стала уникальной для каждой группы запросов.

АГС-30 (18.12.2009)

Одновременно с запуском алгоритма АГС-30, направленного на борьбу с сайтами, которые создавались для продажи ссылок, Яндекс официально объявил о том, что похожий алгоритм под названием АГС-17 уже полгода как работает. АГС-17 показал себя с положительной стороны, поэтому его решили улучшить. АГС-30 учитывал около 100 факторов, на основе которых отсеивал некачественные сайты.

Это первый серьезный шаг в борьбе с «черным» SEO. Хотя пройдет еще не один год, прежде чем Яндекс добьется успеха в этом направлении.

«Конаково» (22.12.2009)

Расширен учет региональности — теперь выдача отличается не для 19, а для 1250 городов России.

«Обнинск» (13.09.2010)

Цель нововведений — улучшить ранжирование документов по геонезависимым запросам. Влияние SEO-ссылок на результаты в топе  продолжает снижаться.

«Краснодар» (15.12.2010)

В течение 2010 года было несколько крупных релизов. Так, улучшена общая формула ранжирования («Снежинск 1.1»), запущен Яндекс.Поиск в Республике Беларусь и поиск по всему миру, начала учитываться геозависимость запросов в Украине («Полтава»), появилась версия Яндекса для Татарстана (на татарском языке). Но самым заметным и значимым было внедрение алгоритма «Краснодар» (технология «Спектр»).

Суть в том, что по запросам с неоднозначным интентом Яндекс выдает результаты из разных категорий и под разные потребности (с учетом статистики запросов и переходов).

Например, если пользователь вводит «орбита», то нельзя однозначно понять, что он хочет — почитать о земной орбите или сходить в кинотеатр «Орбита». Поисковик знает, что 80% людей, которые вводили это запрос ранее, искали кинотеатр, поэтому предлагает 8 результатов выдачи со ссылкой на кинотеатры, рейтинги и сервисы по продаже билетов, а 2 — со ссылкой на статьи о движении небесных тел.

Также в результатах поиска появляются ссылки на социальную сеть ВКонтакте.

«Рейкьявик» (17.08.2011)

Первый шаг к персонализированному поиску. Учитывается, в частности, язык, на котором пользователь вводит запрос. В выдаче появляются первые колдунщики.

«Калининград» (12.12.2012)

Внедрен персонализированный поиск. Теперь при формировании поисковых подсказок и результатов выдачи учитываются интересы пользователей и их поведение в поиске. Это усложнило жизнь оптимизаторам, ведь выдача стала уникальной для каждого пользователя. 30 мая 2013 года выйдет обновление алгоритма под названием «Дублин» — интересы пользователя станут учитываться непосредственно во время поисковой сессии.

«Острова» (16.05.2013)

В поиск внедрены интерактивные ответы. Теперь пользователи могут взаимодействовать с сайтами еще до перехода на них. Есть 3 вида интерактивных ответов: информационные (курсы валют, прогноз погоды), поисковые (формы для поиска билетов, объявлений), транзакционные (регистрация на рейс, заказать услугу и т. п.).

Технология быстрых ответов  работает до сих пор (правда, преимущественно на сервисах Яндекса):

Подробно о быстрых ответах на «нулевой» позиции выдачи мы писали здесь.

АГС-40 (06.11.2013)

Это логическое продолжение алгоритмов АГС-17 и АГС-30. Со времени выхода первых АГС прошло почти 4 года, и вебмастера успели подстроиться и найти «лазейки» в поисковике. АГС-40 как раз и направлен на то, чтобы их закрыть.

«Минусинск» (15.05.2015)

Фильтры АГС в определенной степени были эффективны, но после каждого апдейта сеошники находили способы использовать технологии массовой закупки ссылок без последствий. Яндекс зашел с другой стороны — он начал пессимизировать коммерческие сайты, которые покупают некачественные ссылки. Многие ресурсы, стоящие в топе, потеряли свои позиции. С детальным разбором алгоритма можно ознакомиться здесь.

Вскоре фильтр был снят, но позиции возвращались не всегда, поскольку объем входящей ссылочной массы резко падал. Алгоритм «Минусинск» оказал колоссальное влияние на рынок SEO. Он обратил внимание специалистов по оптимизации и владельцев сайтов на тот факт, что для успешного продвижения нужно работать с комплексом факторов, и в первую очередь фокусироваться на качестве сайта и контента. С этого момента вебмастера стали делать упор на внутренней оптимизации сайта и получении естественных ссылок путем гостевого блоггинга, создания инфоповодов, обмена контентом, размещения рекламы и т. п.

Модуль «Естественные ссылки» в PromoPult — это логично вписанные анкоры и проверенные доноры в вашей тематике. Результат — постепенный прирост ссылочной массы и конверсионного трафика на сайт. Автоматизация на каждом этапе работы, ежедневный мониторинг и обновление списка площадок.

«Многорукий бандит» (осень 2015)

Суть технологии — в подмешивании в выдачу результатов разного типа. Например, по коммерческому запросу выводятся не только интернет-магазины, но и информационные сайты. Таким образом поисковые роботы собирают дополнительную поведенческую информацию для оценки релевантности SERP.

«Владивосток» (02.02.2016)

Всеобщая «мобилизация» не осталась незамеченной Яндексом. С конца 2015 года Яндекс начал помечать в выдаче сайты, оптимизированные под мобильные устройства. Затем объявил о том, что адаптация под мобильные — это фактор ранжирования.

Проверка мобилопригодности страницы в Яндекс.Вебмастере

«Палех» (02.11.2016)

Алгоритм создан для того, чтобы Яндекс мог лучше отвечать на многословные уникальные запросы, по которым нереально собрать статистику предпочтений пользователей. За обработку информации, понимание интента и выдачу результатов отвечает искусственный интеллект. Его научили понимать не отдельные слова, а соотносить смысл запроса с важными фрагментами текста на странице (в основном, заголовками).

«Баден-Баден» (23.03.2017)

Этот алгоритм стал прорывом в борьбе с текстовой переоптимизацией. Избыточное количество ключевых фраз, скрытие текста, уменьшение шрифта, бессмысленные описания — все это технологии манипуляции выдачей.

«Плохой» текст (пример от Яндекса)

Такие тексты бесполезны для пользователей. Яндекс разработал алгоритм, который пессимизирует сайты за использование подобных технологий. Исследование алгоритма и причин наложения фильтра вы можете прочесть в этой публикации.

«Королёв» (22.08.2017)

Это логическое продолжение «Палеха». Только теперь алгоритм для формирования результатов выдачи сопоставляет смысл запроса не со смыслом заголовка, а со смыслом всей страницы.

Турбо-страницы (22.11.2017)

В открытом доступе появилась технология создания Турбо-страниц (аналог AMP Google), которые ускоряют загрузку контента на мобильных устройствах. Для просмотра контента пользователям необязательно переходить на сайт — содержимое подгружается прямо в интерфейсе поисковика. Про турбо-страницы Яндекса и AMP-страницы Google мы подробно писали здесь.

Закрытие Яндекс.Каталога (20.12.2017)

Вслед за закрытием DMOZ о закрытии своего каталога объявил Яндекс. Столь желанный для целых поколений оптимизаторов ресурс стал бесполезен. Значение тИЦ для сайта перенесли в кабинет Яндекс.Вебмастера.

Яндекс.Диалоги (29.05.2018)

Теперь каждый представитель бизнеса может принимать заказы или отвечать на вопросы пользователей через поисковик (без перехода на сайт) и голосовой помощник Алиса.

Замена тИЦ на ИКС (сентябрь 2018)

Яндекс упраздняет показатель тИЦ и вводит новый — индекс качества сайта (ИКС). При расчете значения ИКС играют роль не только посещаемость ресурса и ссылочные факторы, но и поведенческие метрики. Подробно о новой переменной Яндекса рассказали в этой статье.

«Андромеда» (19.11.2018)

Масштабное обновление алгоритма. Среди значимых нововведений — появление знаков на выдаче Яндекса и еще более плотная интеграция колдунщиков (Картинок, Видео, Маркета и др.) в результаты выдачи.

«Вега» (17.12.2019)

Большое обновление поиска включает несколько существенных изменений:

• использование нейросетей для разбивки поисковой базы на тематические кластеры;
• пререндеринг результатов поиска для увеличения скорости загрузки результатов;
• привлечение асессоров-экспертов для оценки качества результатов в узкопрофессиональных тематиках;
• появление сервиса вопросов и ответов Яндекс.Кью;
• гиперлокальный поиск, который учитывает не только населенный пункт, в котором находится пользователь, но даже микрорайон или точный адрес;
• запуск сервиса Яндекс.Район (который проживет недолго и закроется в декабре 2020-го).

YATI (осень 2020)

За аббревиатурой YATI (Yet Another Transformer with Improvements, что дословно переводится как «ещё один трансформер с улучшениями») скрывается прорывная технология анализа текста от Яндекса. Новый алгоритм продолжает вектор, заданный обновлениями «Палех» и «Королёв». Трансформер — это нейросеть, которая учитывает смысл заголовков и фрагментов текста, порядок слов, контекст и сопоставляет его со смыслом заданного пользователем запроса. По словам представителей Яндекса, нововведение качественно повысит результаты поисковой выдачи с точки зрения их релевантности пользовательскому запросу.

Заключение

Эволюция алгоритмов Яндекса привела к тому, что для достижения топа уже не получится, как раньше, закупить побольше обратных ссылок и «нашпиговать» тексты посадочных страниц ключевиками. Нужен комплексный маркетинг — улучшение юзабилити сайта, создание полезного контента, привлечение платного трафика при помощи контекстной и таргетированной рекламы, управление репутацией компании в сети. Все эти инструменты интернет-маркетинга доступны каждому в системе PromoPult.