Правильный robots.txt для wordpress движка. Полное описание в работе с файлом.

Всем привет!  Все, думаю, даже начинающие единомышленники-сеошники, знают что такое файл robots.txt, кто-то может слышал где-то, а кто-то, может с ним работал, однако не все знают истинный смысл robots.txt для wordpress движка. Начнем разбираться.

robots.txt-файл придуманный поисковыми системами, в котором описываются инструкции для роботов поисковиков.В нем описываются инструкции которые разрешают или запрещают индексацию каких либо страниц блога. Он исключительно важен при оптимизации, у себя в вооружении должен иметь каждый сеошник. Сейчас приведу правильную его настройку под wordpress и разберем его инструкции.

Robots.txt для wordpress:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /tag/
Allow: /wp-content/uploads/
Host: coolinfoo.ru
Sitemap: coolinfoo.ru/sitemap.xml

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: coolinfoo.ru

Sitemap: coolinfoo.ru/sitemap.xm

User-Agent- здесь указывается имя поискового робота.
Allow- разрешает индексацию страниц. Поддерживается только Яндексом и Google

Disallow- запрещает индексацию страниц.

Host- сам сайт

Sitemap- путь к карте сайта, если она есть: coolinfoo.ru/sitemap.xml

Конечно это только маленькая часть этих инструкций, но это основное, зная это будет легче. Всё о этом файле  можно почитать на сайте http://robotstxt.org.ru