В целом, файл robots.txt схож для всех систем управления контентом, однако для WordPress он имеет кое-какие особенности. В этой статье я предложу свой вариант этого файла. Вы можете им не пользоваться, но взять на заметку и изучить думаю стоит. Потому что мое субъективное мнение — на WordPress этот robots.txt работает как надо.
Вы можете создать этот файл самостоятельно и скопировать туда содержимое, а можете просто скачать его прямо по этой ссылке. Создать его можно при помощи любого текстового редактора, например Блокнота. И не забудьте изменить название сайта.
А вот, собственно, моя версия содержимого файла robots.txt.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /vote
Disallow: /vote/
Disallow: /author/
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/backup-f9bcc
Disallow: /wp-content/backups-dropbox
Disallow: /wp-content/cache
Disallow: /xmlrpc.php
Disallow: /wp-content/themes
Disallow: /wp-content/languages
Disallow: /wp-content/upgrade
Disallow: /trackback/
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /*?*
Disallow: /?feed=
Disallow: /?s=
Disallow: /tag/
Sitemap: http://www.vash-site.ru/sitemap.xml.gz
Sitemap: http://www.vash-site.ru/sitemap.xml
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /vote
Disallow: /vote/
Disallow: /author/
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /xmlrpc.php
Disallow: /wp-content/themes
Disallow: /trackback/
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /?feed=
Disallow: /*?*
Disallow: /?s=
Disallow: /tag/
Host: www.vash-site.ru
Российская социальная сеть «ВКонтакте» позволяет своим пользователям не только размещать записи на любые темы и…
Когда сообщение вернуть назад невозможно? Вне зависимости от версии программы Outlook (аутлук) существует возможность отзыва…
Запись экрана – это неотъемлемый инструмент для тех компьютерных пользователей, которые занимаются записью прохождения разных…
На что следует обратить внимание в том случае, если вы хотите скачать с YouTube MP3…
Документы PDF часто содержат данные в виде таблиц со строками и столбцами. Чтобы использовать эти…
Что вы собираетесь делать, если вам нужно взять информацию из PDF и поместить ее в…
This website uses cookies.
View Comments
Спасибо за довольно полезную информацию. Такой вопрос – вижу параметры отдельно для Яндекс. Для всех остальных ПС достаточно общего? Может для Google тоже необходимы отдельные параметры?
И еще, как вы отредактировали форму комментариев?