TNPwQA8tGA.jpg

Добавляем robots.txt на WordPress

Файл Robots.txt важен сайту. Сегодня забрался в панель Яндекс вебмастер и заметил кучу ошибок. Вот я решил написать собственный robots.txt для WordPress чтобы запретить индексацию ряда разделов этого веб-сайта.

Тот факт, что на каждом веб-сайте должен иметься robots.txt, который не только говорит, что можно индексировать, а что нет, но и указывает ПС на главное зеркало веб-сайта и сообщает роботу где находится sitemap.xml (карта веб-сайта), не для кого надеюсь не секрет.

Вот так написан robots.txt для моего блога:


User-agent: Yandex Disallow: /jexr/ Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: /trackback Disallow: */feed Disallow: /feed Disallow: /met/ Disallow: /comments/page Host: web-dok.ru User-agent: * Disallow: /jexr/ Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: /met/ Disallow: /comments/page Disallow: /trackback Disallow: */feed Disallow: /feed Sitemap: http://web-dok.ru/sitemap.xml

Теперь полезно будет поговорить о нюансах. Инструкции в файле robots я написал для всех ПС и отдельно для Яндекса. Потому что директиву Host типа  «yoursite.ru» понимает только Yandex.

Множество ошибок дают RSS фиды в постах, поэтому непременно закрываем их директивой Disallow: */feed. Также обязательно закрываем все теги от дублирования с помощью директивы Disallow: /tag/.

Следующая строка: Disallow: /jexr/ – это закрывает редиректные ссылки, добавленные соответственным плагином. С его помощью я закрываю линки на сайты людей, оставляющих комментарии.

Вероятно, что этот Robots.txt может быть далек от идеала, но он мне подходит.

P.S. Ищешь как заработать в интернете ? Тогда могу посоветовать http://max1net.com/- там много интересной информации, которая будет полезна как новичку, так и более опытным веб-мастерам.

Опубликовано в Разное
/
13 Окт 2014