Robot.txt

Записано: Июнь 7th, 2010, автор: Alexandr Multfilmov

Это такой необходимый файл в корне сайта для облегчения работы поисковикам. И вот его содержание заточеное под мой блог:

User-agent: *

Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Allow: /wp-content/uploads/
Sitemap: http://multfilmov.ru/sitemap.xml
Host: multfilmov.ru

Disallow: - исключает страницы для индексирования, ускоряет работу робота выкидывая «мусор» wordpress

Поделитесь с друзьями:

Опубликовать в Facebook
Опубликовать в Одноклассники
Опубликовать в LiveJournal
Опубликовать в Мой Мир
Опубликовать в Google Plus
Опубликовать в Яндекс

Ваш комментарий:

Текст сообщения: