n-wp.ru — блог о WordPress

Как спрятать часть сайта от поисковых машин

Краткая инструкция о том, как скрыть пост, страницу или даже отдельное предложение от поисковых роботов.

Индексация — это процесс, в результате которого ваш сайт попадает в каталоги поисковых машин и его становится возможно найти по релевантному поисковому запросу.

 | n-wp.ru

Попадает ваш сайт в базы данных Яндекса, Google, Bing, Rambler и всяких прочих Baidu благодаря тому, что так называемые «пауки» (специальные программы) этих поисковых систем денно и нощно обходят все сайты интернета и проверяют их на предмет новой, еще не учтенной информации. Вообще говоря это благо, ведь не будь индексации, как бы пользователь не только нашел что-нибудь на вашем сайте, но и вообще узнал о его существовании? Но как быть если на вашем сайте есть информация, показывать которую «всему интернету» не хочется? Скрыть информацию от всеведущего поискового ока можно, ниже я опишу несколько способов решения этой задачи.

Закрыть страницу паролем

Это самый простой способ. Дело в том, что роботы индексируют только открытые, общедоступные участки сайтов. И если вы вынесете всю «закрытую» информацию на защищенную паролем страницу, проиндексирована она не будет.

 | n-wp.ru

Минус такого подхода в том, что не получится скрыть информацию от поисковых роботов, не заставляя пользователей каждый раз вводить пароль (вдруг вы захотите придумать сложный URL и сочтете это достаточной защитой).

Запрет индексации с помощью плагина

Это очень простой метод, притом достаточно действенный. Понадобится плагин Yoast SEO. Для рассматриваемой задачи достаточно наделить страницу атрибутами «noindex» и «nofollow».

 | n-wp.ru

Исключение из индекса с помощью robots.txt

Это чуть более сложный, хотя и несколько более гибкий путь. Преимущество перед плагином в том, что можно скрыть информацию от «избранных» ботов. Чтобы, например, запретить индексировать страницу боту Google и при этом разрешить это делать поисковой системе Яндекс, достаточно подключиться к хостингу по FTP, создать в корне сайта файл robots.txt и добавить в него строки

В качестве URL надо писать адрес без доменного имени

 | n-wp.ru

Аналогичным образом можно закрыть от индексации весь сайт. Например, это целесообразно делать на моменты масштабных технических работ, чтобы поисковики не проиндексировали «временные» состояния сайта. Отменить индексацию можно либо добавив в robots.txt

либо проставив «галочку» в административной панели сайта

 | n-wp.ru

Закрытие от индексирования отрывка текста

Логика работы поисковых роботов позволяет закрывать от индексирования не только целые страницы, но и их части (абзацы, предложения, даже отдельные слова). Для этого достаточно открыть страницу в режиме исходного кода и заключить «скрываемый» текст в теги <noindex>. 

 | n-wp.ru

Это работает (по крайней мере с Яндекс, Google и Рамблер — точно), но сами поисковики не рекомендуют пользоваться этой функцией настолько избирательно. Предупреждают, что это может непредсказуемо повлиять на индексацию страницы, но я пока проблем не встречал.

Сегодня получился несколько «конспирологический» пост, как и всегда жду ваших комментариев!

Вячеслав aka CrazyMoon

Сисадмин, интересующийся вебмастерингом, IT-шник, который любит море.

1 комментарий