Как создать правильный файл robots.txt для сайта на WordPress
Правильный файл robots.txt — залог корректной индексации Вашего сайта, поэтому следует уделить особое внимание его настройке. Напомню, что данный файл дает информацию поисковым роботам о том, какие страницы сайта следует индексировать, а какие нет, а также позволяет настроить другие параметры индексации для различных поисковых систем.
В целом, файл robots.txt схож для всех систем управления контентом, однако для WordPress он имеет кое-какие особенности. В этой статье я предложу свой вариант этого файла. Вы можете им не пользоваться, но взять на заметку и изучить думаю стоит. Потому что мое субъективное мнение — на WordPress этот robots.txt работает как надо.
Вы можете создать этот файл самостоятельно и скопировать туда содержимое, а можете просто скачать его прямо по этой ссылке. Создать его можно при помощи любого текстового редактора, например Блокнота. И не забудьте изменить название сайта.
А вот, собственно, моя версия содержимого файла robots.txt.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 | User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /vote Disallow: /vote/ Disallow: /author/ Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/backup-f9bcc Disallow: /wp-content/backups-dropbox Disallow: /wp-content/cache Disallow: /xmlrpc.php Disallow: /wp-content/themes Disallow: /wp-content/languages Disallow: /wp-content/upgrade Disallow: /trackback/ Disallow: */trackback Disallow: */*/trackback Disallow: /feed/ Disallow: */*/feed/*/ Disallow: */feed Disallow: */*/feed Disallow: /*?* Disallow: /?feed= Disallow: /?s= Disallow: /tag/ Sitemap: http://www.vash-site.ru/sitemap.xml.gz Sitemap: http://www.vash-site.ru/sitemap.xml User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /vote Disallow: /vote/ Disallow: /author/ Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /xmlrpc.php Disallow: /wp-content/themes Disallow: /trackback/ Disallow: */trackback Disallow: */*/trackback Disallow: /feed/ Disallow: */*/feed/*/ Disallow: */feed Disallow: */*/feed Disallow: /?feed= Disallow: /*?* Disallow: /?s= Disallow: /tag/ Host: www.vash-site.ru |
Подписывайся на канал MyFirstComp на YouTube!
Сергей
| #
Спасибо за довольно полезную информацию. Такой вопрос – вижу параметры отдельно для Яндекс. Для всех остальных ПС достаточно общего? Может для Google тоже необходимы отдельные параметры?
И еще, как вы отредактировали форму комментариев?
Reply