n-wp.ru — блог о WordPress

Все о robots.txt | часть 2

Продолжаю изучать robots.txt. Мне понятно, что robots.txt — не догма, однако я не упускаю возможности для дополнительной оптимизации, которые могут появиться у блога с помощью этого маленького файла. Как с помощью этого файла показать, какие папки вы рекомендуете индексировать, а в какие ходить не советуете?

Запретить/разрешить индексацию

Оказывается, что сделать это элементарно (Ватсон, Семён Семёныч — нужное подчеркнуть употребить) — достаточно упомянуть о том, для какого робота это предназначено, и следующей строчкой вписать, что вы запрещаете или разрешаете этому роботу просматривать всего двумя командами: Allow и Disallow.

Например, напишем правило для робота Яндекса, запрещающее ему индексировать папку cgi-bin и файл style.css, находящийся в папке css, но открывающее папку uploads для индексации:

Как видим, ничего страшного в этой разметке нет. Однако есть несколько правил, которые следует учесть:

  • Обратите внимание, что если вы запрещаете индексацию папки, то после нее всегда следует /, а если файла — то этот знак не ставится.
  • Следует так же учитывать, что директивы работают последовательно, по мере их прочтения роботом, от начала файла к концу.

Для написания правил можно использовать служебные символы * и $. * употребляется тогда, когда нужно указать на любую комбинацию символов, а $- отменяет эту комбинацию.

Например, заблокируем все файлы и папки, начинающиеся с ААА для всех роботов:

Однако многие указывают, что употребление множества спецсимволов только лишь запутывает структуру файла, поэтому от их частого употребления стоит воздержаться.

Предыдущая статья → Все о robots.txt | часть 1
Следующая статья → Все о robots.txt | часть 3

Комментировать