Добавляем robots.txt на WordPress
Файл Robots.txt важен сайту. Сегодня забрался в панель Яндекс вебмастер и заметил кучу ошибок. Вот я решил написать собственный robots.txt для WordPress чтобы запретить индексацию ряда разделов этого веб-сайта.
Тот факт, что на каждом веб-сайте должен иметься robots.txt, который не только говорит, что можно индексировать, а что нет, но и указывает ПС на главное зеркало веб-сайта и сообщает роботу где находится sitemap.xml (карта веб-сайта), не для кого надеюсь не секрет.
Вот так написан robots.txt для моего блога:
User-agent: Yandex Disallow: /jexr/ Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: /trackback Disallow: */feed Disallow: /feed Disallow: /met/ Disallow: /comments/page Host: web-dok.ru User-agent: * Disallow: /jexr/ Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: /met/ Disallow: /comments/page Disallow: /trackback Disallow: */feed Disallow: /feed Sitemap: http://web-dok.ru/sitemap.xml
Теперь полезно будет поговорить о нюансах. Инструкции в файле robots я написал для всех ПС и отдельно для Яндекса. Потому что директиву Host типа «yoursite.ru» понимает только Yandex.
Множество ошибок дают RSS фиды в постах, поэтому непременно закрываем их директивой Disallow: */feed. Также обязательно закрываем все теги от дублирования с помощью директивы Disallow: /tag/.
Следующая строка: Disallow: /jexr/ – это закрывает редиректные ссылки, добавленные соответственным плагином. С его помощью я закрываю линки на сайты людей, оставляющих комментарии.
Вероятно, что этот Robots.txt может быть далек от идеала, но он мне подходит.
P.S. Ищешь как заработать в интернете ? Тогда могу посоветовать http://max1net.com/- там много интересной информации, которая будет полезна как новичку, так и более опытным веб-мастерам.