WordPress Meta Robots

WordPress Meta Robots это маленький SEO-плагин, дополняющий функционал больших SEO-плагинов. Он позволяет устанавливать тег "meta robots" для любой страницы или записи в блоге. Таким образом, вы всегда можете запретить поисковикам индексировать содержимое какой-либо отдельно взятой записи или страницы. Запретить индексирование любой страницы можно и через файл robots.txt, но это удобно только, если вам не надо время от времени закрывать новые записи или страницы. Да и через robots.txt нельзя указать поисковикам не индексировать страницу, но при этом следовать по ссылкам в ней. Также плагин управляет индексированием рубрик, архивов, тегов и других типов страниц в WordPress.

Скачиваем плагин с его домашней страницы и устанавливаем его:

1. Распаковываем архив.

2. Копируем папку wordpress-meta-robots в /wp-content/plugins/.

3. Заходим в админку блога на вкладку "Плагины" и активируем плагин.

Никаких настроек в плагине нет. Сразу после активации у каждой вашей записи или страницы при редактировании появится административный виджет (как на скриншоте выше). По умолчанию после активации плагина индексация всех записей и страниц в блоге разрешена, плагин сразу ставит для всех страниц значение по умолчанию "index, follow". Убедитесь, что тег "meta robots" не дублируется в вашем шаблоне. Для этого откройте файл header.php вашего шаблона и поищите там строчку, похожую на:

<meta name="robots" content="follow, all" />

Если вы нашли такую строчку, то смело ее удаляйте, так как вставкой этого тега теперь будет заниматься сам плагин.

Некоторые пояснения по поводу значений тега "meta robots":

1. "index" - разрешает индексирование страницы.
2. "noindex" - запрещает индексирование страницы.
3. "follow" - разрешает следовать по ссылкам.
4. "nofollow" - запрещает следовать по ссылкам.

То есть значение "index, follow" будет означать указание для поисковика индексировать страницу и следовать по каждой ссылке на ней. А значение "noindex, nofollow" будет означать, что поисковику не надо индексировать эту страницу и не надо ходить по ссылкам, то есть для поисковика страница с таким значением тега "meta robots" будет своеобразным "тупиком".

К сожалению, автор плагина встроил поддержку этого тега не только для страниц и записей в блоге. Но и для рубрик и других типов страниц. Только вот он не дал возможности указать настройки тега "meta robots" для этих страниц, а решил, что лучше владельца блога знает, что надо индексировать, а что нет.

Плагин устанавливает значение "noindex, follow" для всех рубрик, тегов и архивов. И значение "noindex, nofollow" для всех остальных типов страниц (кроме страниц и записей). С одной стороны, он в чем-то прав – если в блоге существуют и рубрики и архивы и теги, а все записи выводятся полностью (без использования тега more), то получится, что у вас одна и та же запись будет продублирована аж 5 раз на разных типах страниц (главная, страница рубрики, страница архива, страница тега и сама страница с записью). А это не очень хорошо с точки зрения SEO. С другой стороны, если вы используете тег more и не используете архивы и теги, то дублирование у вас будет только на 2-х типах страниц, да и то лишь неполного текста записи.

Исходя из сказанного, я вам предлагаю все-таки разрешить индексирование любого типа страниц в блоге, а необходимые запреты встроить в файл robots.txt. Откройте файл плагина wp-meta-robots.php и найдите там строчки:

56
57
58

   echo '<meta name="robots" content="noindex, follow" />'."\n";
   } else {
   echo '<meta name="robots" content="noindex, nofollow" />'."\n";

Поменяйте их на:

56
57
58

   echo '<meta name="robots" content="index, follow" />'."\n";
   } else {
   echo '<meta name="robots" content="index, follow" />'."\n";

Теперь все типы страниц у вас в блоге станут индексируемыми (кроме тех страниц и записей, для которых вы поставили запрет через виджет плагина при редактировании записи). Но открывать индексирование всего контента в блоге очень плохая идея. Зачастую именно бесконечное дублирование (особенно через страницы тегов) контента записей является причиной для бана в поисковиках. Поэтому вам лучше запретить как минимум индексирование тегов и страниц с результатами поиска. Для этого откройте файл robots.txt и добавьте туда строчки:

56
57
58
59

User-agent: *
Disallow: /*?s=
Disallow: /*&s=
Disallow: /tag/

Если у вас в блоге не установлены ЧПУ, то вам надо будет чуть-чуть отредактировать приведенный пример, чтобы он подходил для вашего вида постоянных ссылок. Например, при структуре постоянных ссылок по умолчанию запрещать индексацию тегов надо не через "Disallow: /tag/", а через "Disallow: /?tag=".

Я не пишу про запрет индексирования страниц архивов. Тут я с автором плагина согласен – запретить индексацию архивов надо, а вот отключать хождение по ссылкам на этих страницах нет. Чем больше есть ссылок на страницы записей в вашем блоге, то тем больше вероятность, что поисковики проиндексируют все записи блога полностью. Если вы используете архивы в вашем блоге, то файл плагина надо изменить немного другим образом, найдите в wp-meta-robots.php строчки:

55
56
57
58

   } elseif ( is_category() || is_tag() || is_archive() ) {
   echo '<meta name="robots" content="noindex, follow" />'."\n";
   } else {
   echo '<meta name="robots" content="noindex, nofollow" />'."\n";

И замените их на:

55
56
57
58

   } elseif ( is_archive() ) {
   echo '<meta name="robots" content="noindex, follow" />'."\n";
   } else {
   echo '<meta name="robots" content="index, follow" />'."\n";

Впрочем, что индексировать в вашем блоге, а что нет решать только вам. Вовсе необязательно следовать моим рекомендациям, думайте сами. В любом случае использование плагина WordPress Meta Robots избавляет вас от необходимости править robots.txt при появлении каждой новой записи, чье индексирование (или чьи ссылки) вы хотите запретить.

Автор плагина: destio
Страница плагина: http://wordpress.org/extend/plugins/wordpress-meta..
Рассматриваемая версия: 1.8 от 22.02.2011
Совместимость с версией WordPress: 3.0 и выше.