n-wp.ru — блог о WordPress

Как уменьшить нагрузку на сервер, создаваемую поисковыми ботами

Недавно хостер начал жаловаться на возросшую нагрузку на сервер. И это не удивительно, ведь количество просмотров возросло по сравнению с весной в 2-3 раза.

tiaurus-0262

С количеством просмотров увеличилось и количество поисковых ботов, постоянно что-то ищущих на сайте. Некоторые из них начали качать страницы за гигабайтами, и блог начал превышать отведенные ему лимиты. В конце концов закончилось тем, что блог был заблокирован в течении нескольких дней. Чтобы выйти из этой ситуации, мне пришлось оптимизировать настройки доступа к сайту для поисковых ботов, а так же и для всех остальных посетителей. Обобщив все советы, которые относятся к снижению нагрузки на сервер, я добавил в файл robots.txt определенные директивы.

robots.txt — файл, в котором содержатся указания для поисковых систем. Это обычный текстовывй файл с командами, оформленными особым образом. Он размещается в корневой папке вашего блога. Для снижения нагрузки, создаваемой поисковыми ботами, нужно добавить в файл robots.txt такие установки:

Как видно, все директивы можно разделить на две части: для всех и для Яндекса. Для неизвестных роботов индексация блога запрещена. Для всех без исключения запрещена индексация фидов, трекбеков, комментариев, поисковых запросов, архивов, страниц с выборками по тегам. Так же запрещена индексация папок с плагинами и темами, страниц регистрации. В общем, оставлены только сами посты — пусть поисковики по ним ходят. Это было сделано, чтобы исключить появление в поисковой выдаче дублей — пути, ведущему к одному и тому же посту. В итоге нагрузка от поисковых ботов снизилась почти вдвое, что позволило экономить гигабайты трафика. Благодаря этому сайт был разблокирован и продолжил свою работу.

9 комментариев

  • Disallow: /comments/??? Комментарии — уникальный контент. Простите, но ИМХО глупо запрещать к индексации комментарии.

  • Мои публикации — не догма. Я уверен, что найдутся многие, у кого опыта и знаний больше, и я ни в коей мере не буду с ними спорить, а лишь только выслушаю и скажу спасибо. Если вы считаете, что закрывать комментарии от индексации не стоит — не закрывайте. Однако глупым иное мнение считать не стоит, тем более когда речь идет о таких неоднозначных вещах, как комментарии.

    • А робот sape учитывает директивы из robots.txt? Думаю, что нет, значит на него эти правила не распространяются.

  • Спасибо, утвердил ваши рекомендации фильтров. Просто вчера в 21:13 заблокировали мой акк, а на нем 30 сайтов. В течении 40 мин добился разблокировки с обещанием снизить нагрузку. Может что-то посоветуете конкретно или прочитать что-то?

    • Посоветую ознакомиться с этими постами:
      Как уменьшить нагрузку на сервер | оптимизация .htaccess: http://n-wp.ru/2075
      Как уменьшить нагрузку на сервер, создаваемую поисковыми ботами: http://n-wp.ru/2074
      Как уменьшить нагрузку на блог: блокировка запросов на обновление и отключение автоматического управления ревизиями: http://n-wp.ru/725
      Так же советую обязательно посмотреть посты о кэшировании: http://n-wp.ru/tag/kesh