Файл robots.txt, который должен быть в составе файлов любого блога, несет одну важную функцию — он определяет правила индексирования содержимого сайта поисковыми роботами. Содержащиеся в файле инструкции направляют роботов по нужному пути, разрешая или запрещая им просматривать определенные файлы и папки. Файл имеет определенный формат, и записи в нем формируются по определенным правилам. Если вы не знаете, как сделать robots.txt самостоятельно, то может оно и к лучшему. Для автоматического создания robots.txt для своего блога можно воспользоваться специальными плагинами, которые будут поддерживать содержимое этого сайта актуальным. Об одном из таких плагинов я уже писал — Google XML Sitemaps. Есть и более простая альтернатива, плагин KB Robots.txt, который занимается только файлом robots.txt.
Этот плагин будет автоматически поддерживать инструкции для поисковых роботов в актуальном состоянии.
Download
Скачать KB Robots.txt
