Список поисковых ботов

Список поисковых ботов | n-wp.ru
👍 Научим бесплатно правильно создавать сайты на WordPress. Подробнее →
Создай свой первый сайт на WordPress

tiaurus

Автор n-wp.ru — блога о WordPress для новичков.

Оцените автора
Добавить комментарий

  1. Vagabond

    На сайте ВордПресса (http://wordpress.org/extend/plugins/pc-robotstxt/) есть плагин PC Robots.txt, который генерирует robots.txt при обращении к оному. В настройках можно добавить свой список ботов и запретить им лазить по сайту. Несколько примитивно, но работает.

    Ответить
    1. Все было бы хорошо, но большинство ботов игнорирует то, что написано в robots.txt

      Ответить
  2. Терентий Шахов

    Я в нетерпении увидеть, что же Ваша светлая голова надумает для решения этой задачи) От количества ботов зашевелились остатки волос на макушке…

    Ответить
    1. Уверяю вас, что это далеко не все. Это всего лишь видимая часть айсберга. Большинство ботов скрывают свое предназначение, не показывая user agent.

      Ответить
      1. Терентий Шахов

        Остаётся надеяться, что большая часть фиксируемых счётчиком статистики посетителей моего блога не относится к этой орде “любопытствующих халявщиков”) А то руки опустятся… Или они статистикой не учитываются? Или фиксируются отчасти?

        Ответить
        1. Смотря какая статистика. Самой правдивой обычно является статистика хостера – против нее не поспоришь.

          Ответить
  3. NomadUA

    И они все реально лазят по блогу???? Ужас. Кстати, насчет мылру – в последнее время по кол-ву посетителей он догнал гугл у меня О_о Я очень удивлен- но факт…

    Ответить
    1. tiaurus

      Ну я не утверждаю, что его нужно отключить. Нужно смотреть по обстановке. Для n-wp.ru поисковик типа mail.ru бесполезен, для knitly.com – полезен. Но вот китайские поисковики точно бесполезны для всех моих блогов :) .

      Вот, например, список ботов с knitly.com только за один неполный день. Желтым отмечены те, от которых я бы хотел избавиться. Следует обратить внимание на создаваемый ими трафик – а ведь это нехилая нагрузка на сервер, за которую хостер меня постоянно ругает. Кстати, гулобот и яндекс тоже в последнее время выкачивают огромную массу контента, но с их прожорливостью я вынужден мириться (а куда деваться то?), а вот желтые боты мне точно не нужны.

      http://imgur.com/Y4y4b.png

      Ответить
      1. NomadUA

        О_о Та да. серьезно.. кстати, на мой блог и китайцы ходят 2-3 хтита в сутки, Не знаю зачем но ходят упорно :)

        Ответить
        1. tiaurus

          Название темы оформления блога у тебя китайское. Видимо оно находится через поиск.

          Ответить
  4. vacuum

    А если их, например, вот так через .htaccess?

    RewriteEngine On
    RewriteCond %{HTTP_USER_AGENT} 5IBM_Planetwide [OR]
    RewriteRule . – [F,L]

    Ответить
    1. tiaurus

      Конечно, можно таким ботам запретить доступ и через htaccess (даже нужно) – главное знать их правильное название.

      Ответить