Как проходит день сотрудника GOOGLE по борьбе со спамом? Как он принимает решение об обновлении каких-то частей поискового алгоритма? рассказывает Мэтт Каттс.

В группе Google Webspam есть как инженеры, так и специалисты по ручной борьбе со спамом. Я немного расскажу об обеих этих категориях.
Как проходит ваш день, если вы работаете специалистом по ручной борьбе со спамом? Я сам немало занимался ручной борьбой со спамом, расскажу в общих чертах об этой работе. Обычно это сочетание реагирующего и упреждающего подходов к спаму.

Реагирующий подход – это когда мы получаем сообщение о спаме или каким-то другим образом узнаём, что кто-то спамит в Google. Мы должны на это отреагировать, должны понять, как это исправить. Так что значительная часть ежедневной работы – просто следить, чтобы спамеры не проникли в выдачу и не испортили людям впечатление от поиска. Это, конечно, не рукопашный бой, это определение, что спам, а что нет, а также поиск спама, который попал в верхние страницы выдачи. В процессе этого лучшие борцы со спамом отслеживают тенденции, типовые сценарии этого спама и переходят к упреждающим действиям.

Упреждающие действия – это когда мы анализируем, как спамным страницам удается так высоко ранжироваться, через какие лазейки они проникают в выдачу, и как нам бороться с корнем этой проблемы. И это очень интересное занятие. Иногда оно включает взаимодействие с инженерами: возможно, они могут что-то подрегулировать, внести небольшие поправки в алгоритм. Иногда задача заключается лишь в определении методов, которыми пользуется спамер. А иногда – только в том, чтобы найти конкретного спамера и «поймать его за руку».

Теперь поговорим о работе инженеров. Это тоже очень интересная работа: они тоже отслеживают данные, тоже сравнивают образцы спама, но в среднем они большую часть времени заняты программированием и тестированием каких-то идей. Вы пишете алгоритм, который, по вашему мнению, сможет остановить какой-то конкретный вид спама, – не существует такого алгоритма, который был бы способен отсеять все возможные категории спама. Например, «Пингвин» хорошо справляется с одним или даже несколькими видами спама, но он не направлен, скажем, против хакерских сайтов.

Таким образом, инженер может работать над точным распознаванием хакерских сайтов. Он определяет наиболее подходящие для этого способы, ищет различные сигналы, которые в этом помогут. Он пишет алгоритм, призванный «выловить» как можно больше хакерских сайтов, одновременно не затрагивая «�