Как сделать свой сайт «любимчиком» поисковой системы?

Как поисковики ведут борьбу с техническим мусором?
При обработке крупных сайтов, которые имеют более 1000 url, проходит процедура автоматической сегментации: поисковик пытается понять структуру сайта по тем адресам, какие у него есть.

Адреса группируются автоматически, собираются «регулярные выражения», и выделяются наиболее интересные для поиска сегменты. Отдельно остаются сегменты архивов и дублей, чтобы политика обхода была гибкой и постоянно обновляющейся.

Фактически это выглядит так: каждый сайт «подбрасывается» в выдачу и создает определенную картину, которая анализируется. Иногда полный анализ занимает около года.

Самый простой способ очистить сайт от технического мусора — в robots.txt записать url-исключения, которые ни в коем случае не должны попасть в выдачу и засорить ее. Это дает сразу несколько плюсов для вебмастера.
Если же вебмастер компании не может обойтись собственными силами, то он пользуется услугами поисковика: отправляет запрос и получает страницу анализа сайта с выделенными сегментами. А затем уже самостоятельно решает, что нужно, а что является мусором и подлежит удалению.

В свою очередь поисковой системе важно узнать, помог ли этот способ в решении проблем с индексированием или нет — нужна обратная связь.
Читать дальше →

«Дублин» — сиюминутная персонализация «Яндекса»

«Дублин» — сиюминутная персонализация «Яндекса»

В конце 2012-го «Яндекс» наделал немало шума, выпустив новую поисковую платформу «Калининград», основной идеей которой стала персонализация поиска. На этом разработчики поисковика не остановились, совсем недавно, 30 мая, был запущен новый алгоритм «Яндекса» — он по традиции получил название одного из городов — на этот раз им стал «Дублин». В этой статье мы рассмотрим, как работает новый поиск, и почему важна именно такая сиюминутная персонализация.

Зачем нужна оперативная персонализация?
Казалось бы, новая платформа «Калининград» учитывает историю поиска пользователей и формирует для них индивидуальные результаты, которые отражают их интересы. То есть поиск перешел перешел на новый уровень — выдача стала более релевантной не в общем смысле, а для каждого. Но «Калининград» учитывает довольно длительную историю поиска, которая позволяет опереться на какие-то глобальные интересы пользователя. Но в реальной жизни бывает так, что вам нужно быстро что-то найти, пусть даже что-то противоречащее вашим интересам. Поэтому в такой ситуации на первый план выходит история поиска буквально за последние минуты или даже секунды.
Читать дальше →