Как сделать свой сайт «любимчиком» поисковой системы?

Как поисковики ведут борьбу с техническим мусором?
При обработке крупных сайтов, которые имеют более 1000 url, проходит процедура автоматической сегментации: поисковик пытается понять структуру сайта по тем адресам, какие у него есть.

Адреса группируются автоматически, собираются «регулярные выражения», и выделяются наиболее интересные для поиска сегменты. Отдельно остаются сегменты архивов и дублей, чтобы политика обхода была гибкой и постоянно обновляющейся.

Фактически это выглядит так: каждый сайт «подбрасывается» в выдачу и создает определенную картину, которая анализируется. Иногда полный анализ занимает около года.

Самый простой способ очистить сайт от технического мусора — в robots.txt записать url-исключения, которые ни в коем случае не должны попасть в выдачу и засорить ее. Это дает сразу несколько плюсов для вебмастера.
Если же вебмастер компании не может обойтись собственными силами, то он пользуется услугами поисковика: отправляет запрос и получает страницу анализа сайта с выделенными сегментами. А затем уже самостоятельно решает, что нужно, а что является мусором и подлежит удалению.

В свою очередь поисковой системе важно узнать, помог ли этот способ в решении проблем с индексированием или нет — нужна обратная связь.
Читать дальше →