На сайте ВордПресса (http://wordpress.org/extend/plugins/pc-robotstxt/) есть плагин PC Robots.txt, который генерирует robots.txt при обращении к оному. В настройках можно добавить свой список ботов и запретить им лазить по сайту. Несколько примитивно, но работает.
Ответить
Все было бы хорошо, но большинство ботов игнорирует то, что написано в robots.txt
Ответить
Терентий Шахов
Я в нетерпении увидеть, что же Ваша светлая голова надумает для решения этой задачи) От количества ботов зашевелились остатки волос на макушке…
Ответить
Уверяю вас, что это далеко не все. Это всего лишь видимая часть айсберга. Большинство ботов скрывают свое предназначение, не показывая user agent.
Ответить
Терентий Шахов
Остаётся надеяться, что большая часть фиксируемых счётчиком статистики посетителей моего блога не относится к этой орде “любопытствующих халявщиков”) А то руки опустятся… Или они статистикой не учитываются? Или фиксируются отчасти?
Ответить
Смотря какая статистика. Самой правдивой обычно является статистика хостера – против нее не поспоришь.
Ответить
NomadUA
И они все реально лазят по блогу???? Ужас. Кстати, насчет мылру – в последнее время по кол-ву посетителей он догнал гугл у меня О_о Я очень удивлен- но факт…
Ответить
tiaurus
Ну я не утверждаю, что его нужно отключить. Нужно смотреть по обстановке. Для n-wp.ru поисковик типа mail.ru бесполезен, для knitly.com – полезен. Но вот китайские поисковики точно бесполезны для всех моих блогов :) .
Вот, например, список ботов с knitly.com только за один неполный день. Желтым отмечены те, от которых я бы хотел избавиться. Следует обратить внимание на создаваемый ими трафик – а ведь это нехилая нагрузка на сервер, за которую хостер меня постоянно ругает. Кстати, гулобот и яндекс тоже в последнее время выкачивают огромную массу контента, но с их прожорливостью я вынужден мириться (а куда деваться то?), а вот желтые боты мне точно не нужны.
http://imgur.com/Y4y4b.png
Ответить
NomadUA
О_о Та да. серьезно.. кстати, на мой блог и китайцы ходят 2-3 хтита в сутки, Не знаю зачем но ходят упорно :)
Ответить
tiaurus
Название темы оформления блога у тебя китайское. Видимо оно находится через поиск.
Ответить
vacuum
А если их, например, вот так через .htaccess?
RewriteEngine On RewriteCond %{HTTP_USER_AGENT} 5IBM_Planetwide [OR] RewriteRule . – [F,L]
Ответить
tiaurus
Конечно, можно таким ботам запретить доступ и через htaccess (даже нужно) – главное знать их правильное название.
На сайте ВордПресса (http://wordpress.org/extend/plugins/pc-robotstxt/) есть плагин PC Robots.txt, который генерирует robots.txt при обращении к оному. В настройках можно добавить свой список ботов и запретить им лазить по сайту. Несколько примитивно, но работает.
Все было бы хорошо, но большинство ботов игнорирует то, что написано в robots.txt
Я в нетерпении увидеть, что же Ваша светлая голова надумает для решения этой задачи) От количества ботов зашевелились остатки волос на макушке…
Уверяю вас, что это далеко не все. Это всего лишь видимая часть айсберга. Большинство ботов скрывают свое предназначение, не показывая user agent.
Остаётся надеяться, что большая часть фиксируемых счётчиком статистики посетителей моего блога не относится к этой орде “любопытствующих халявщиков”) А то руки опустятся… Или они статистикой не учитываются? Или фиксируются отчасти?
Смотря какая статистика. Самой правдивой обычно является статистика хостера – против нее не поспоришь.
И они все реально лазят по блогу???? Ужас. Кстати, насчет мылру – в последнее время по кол-ву посетителей он догнал гугл у меня О_о Я очень удивлен- но факт…
Ну я не утверждаю, что его нужно отключить. Нужно смотреть по обстановке. Для n-wp.ru поисковик типа mail.ru бесполезен, для knitly.com – полезен. Но вот китайские поисковики точно бесполезны для всех моих блогов :) .
Вот, например, список ботов с knitly.com только за один неполный день. Желтым отмечены те, от которых я бы хотел избавиться. Следует обратить внимание на создаваемый ими трафик – а ведь это нехилая нагрузка на сервер, за которую хостер меня постоянно ругает. Кстати, гулобот и яндекс тоже в последнее время выкачивают огромную массу контента, но с их прожорливостью я вынужден мириться (а куда деваться то?), а вот желтые боты мне точно не нужны.
http://imgur.com/Y4y4b.png
О_о Та да. серьезно.. кстати, на мой блог и китайцы ходят 2-3 хтита в сутки, Не знаю зачем но ходят упорно :)
Название темы оформления блога у тебя китайское. Видимо оно находится через поиск.
А если их, например, вот так через .htaccess?
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} 5IBM_Planetwide [OR]
RewriteRule . – [F,L]
Конечно, можно таким ботам запретить доступ и через htaccess (даже нужно) – главное знать их правильное название.