Как уменьшить нагрузку на сервер, создаваемую поисковыми ботами

👍 Научим бесплатно правильно создавать сайты на WordPress. Подробнее →

Недавно хостер начал жаловаться на возросшую нагрузку на сервер. И это не удивительно, ведь количество просмотров возросло по сравнению с весной в 2-3 раза.

tiaurus-0262

С количеством просмотров увеличилось и количество поисковых ботов, постоянно что-то ищущих на сайте. Некоторые из них начали качать страницы за гигабайтами, и блог начал превышать отведенные ему лимиты. В конце концов закончилось тем, что блог был заблокирован в течении нескольких дней. Чтобы выйти из этой ситуации, мне пришлось оптимизировать настройки доступа к сайту для поисковых ботов, а так же и для всех остальных посетителей. Обобщив все советы, которые относятся к снижению нагрузки на сервер, я добавил в файл robots.txt определенные директивы.

robots.txt — файл, в котором содержатся указания для поисковых систем. Это обычный текстовывй файл с командами, оформленными особым образом. Он размещается в корневой папке вашего блога. Для снижения нагрузки, создаваемой поисковыми ботами, нужно добавить в файл robots.txt такие установки:

User-agent:*
Crawl-delay: 2

User-agent: Unknown robot
Disallow: /

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /tag/
Disallow: /category/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Sitemap: https://n-wp.ru/sitemap.xml

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /tag/
Disallow: /category/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: n-wp.ru

Как видно, все директивы можно разделить на две части: для всех и для Яндекса. Для неизвестных роботов индексация блога запрещена. Для всех без исключения запрещена индексация фидов, трекбеков, комментариев, поисковых запросов, архивов, страниц с выборками по тегам. Так же запрещена индексация папок с плагинами и темами, страниц регистрации. В общем, оставлены только сами посты — пусть поисковики по ним ходят. Это было сделано, чтобы исключить появление в поисковой выдаче дублей — пути, ведущему к одному и тому же посту. В итоге нагрузка от поисковых ботов снизилась почти вдвое, что позволило экономить гигабайты трафика. Благодаря этому сайт был разблокирован и продолжил свою работу.

Создай свой первый сайт на WordPress

tiaurus

Автор n-wp.ru — блога о WordPress для новичков.

Оцените автора
Добавить комментарий

  1. Travian

    Disallow: /comments/??? Комментарии — уникальный контент. Простите, но ИМХО глупо запрещать к индексации комментарии.

    Ответить
  2. Мои публикации — не догма. Я уверен, что найдутся многие, у кого опыта и знаний больше, и я ни в коей мере не буду с ними спорить, а лишь только выслушаю и скажу спасибо. Если вы считаете, что закрывать комментарии от индексации не стоит — не закрывайте. Однако глупым иное мнение считать не стоит, тем более когда речь идет о таких неоднозначных вещах, как комментарии.

    Ответить
  3. kerfil

    А как на счет сапы, ее робот пробьет эту стену?

    Ответить
  4. kerfil

    А как на счет сапы, ее робот пробьет эту защиту?

    Ответить
    1. tiaurus

      А робот sape учитывает директивы из robots.txt? Думаю, что нет, значит на него эти правила не распространяются.

      Ответить
  5. kerfil

    Спасибо, утвердил ваши рекомендации фильтров. Просто вчера в 21:13 заблокировали мой акк, а на нем 30 сайтов. В течении 40 мин добился разблокировки с обещанием снизить нагрузку. Может что-то посоветуете конкретно или прочитать что-то?

    Ответить
    1. Посоветую ознакомиться с этими постами:
      Как уменьшить нагрузку на сервер | оптимизация .htaccess: https://n-wp.ru/kak-umenshit-nagruzku-na-server-optimizaciya-htaccess/
      Как уменьшить нагрузку на сервер, создаваемую поисковыми ботами: https://n-wp.ru/kak-umenshit-nagruzku-na-server-sozdavaemuyu-poiskovymi-botami/
      Как уменьшить нагрузку на блог: блокировка запросов на обновление и отключение автоматического управления ревизиями: https://n-wp.ru/kak-umenshit-nagruzku-na-blog-blokirovka-zaprosov-na-obnovlenie-i-otklyuchenie-avtomaticheskogo-upravleniya-reviziyami/
      Так же советую обязательно посмотреть посты о кэшировании: https://n-wp.ru/tag/kesh

      Ответить
  6. volos_86

    после применения указанных настроек. Что-то изменилось в индексировании?

    Ответить
    1. Поясните :)

      Ответить