Как уменьшить нагрузку на сервер, создаваемую поисковыми ботами

Недавно хостер начал жаловаться на возросшую нагрузку на сервер. И это не удивительно, ведь количество просмотров возросло по сравнению с весной в 2-3 раза.

С количеством просмотров увеличилось и количество поисковых ботов, постоянно что-то ищущих на сайте. Некоторые из них начали качать страницы за гигабайтами, и блог начал превышать отведенные ему лимиты. В конце концов закончилось тем, что блог был заблокирован в течении нескольких дней. Чтобы выйти из этой ситуации, мне пришлось оптимизировать настройки доступа к сайту для поисковых ботов, а так же и для всех остальных посетителей. Обобщив все советы, которые относятся к снижению нагрузки на сервер, я добавил в файл robots.txt определенные директивы.

robots.txt — файл, в котором содержатся указания для поисковых систем. Это обычный текстовывй файл с командами, оформленными особым образом. Он размещается в корневой папке вашего блога. Для снижения нагрузки, создаваемой поисковыми ботами, нужно добавить в файл robots.txt такие установки:

User-agent:*
Crawl-delay: 2

User-agent: Unknown robot
Disallow: /

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /tag/
Disallow: /category/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Sitemap: https://n-wp.ru/sitemap.xml

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /tag/
Disallow: /category/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: n-wp.ru

Как видно, все директивы можно разделить на две части: для всех и для Яндекса. Для неизвестных роботов индексация блога запрещена. Для всех без исключения запрещена индексация фидов, трекбеков, комментариев, поисковых запросов, архивов, страниц с выборками по тегам. Так же запрещена индексация папок с плагинами и темами, страниц регистрации. В общем, оставлены только сами посты — пусть поисковики по ним ходят. Это было сделано, чтобы исключить появление в поисковой выдаче дублей — пути, ведущему к одному и тому же посту. В итоге нагрузка от поисковых ботов снизилась почти вдвое, что позволило экономить гигабайты трафика. Благодаря этому сайт был разблокирован и продолжил свою работу.