Это такой необходимый файл в корне сайта для облегчения работы поисковикам. И вот его содержание заточеное под мой блог:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Allow: /wp-content/uploads/
Sitemap: http://multfilmov.ru/sitemap.xml
Host: multfilmov.ru
Disallow: - исключает страницы для индексирования, ускоряет работу робота выкидывая «мусор» wordpress