Как создать правильный файл robots.txt для сайта на WordPress

Написал admin. Опубликовано в рубрике CMS.

Поисковый роботПравильный файл robots.txt — залог корректной индексации Вашего сайта, поэтому следует уделить особое внимание его настройке. Напомню, что данный файл дает информацию поисковым роботам о том, какие страницы сайта следует индексировать, а какие нет, а также позволяет настроить другие параметры индексации для различных поисковых систем.

В целом, файл robots.txt схож для всех систем управления контентом, однако для WordPress он имеет кое-какие особенности. В этой статье я предложу свой вариант этого файла. Вы можете им не пользоваться, но взять на заметку и изучить думаю стоит. Потому что мое субъективное мнение — на WordPress этот robots.txt работает как надо.


Вы можете создать этот файл самостоятельно и скопировать туда содержимое, а можете просто скачать его прямо по этой ссылке. Создать его можно при помощи любого текстового редактора, например Блокнота. И не забудьте изменить название сайта.

А вот, собственно, моя версия содержимого файла robots.txt.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /vote
Disallow: /vote/
Disallow: /author/
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/backup-f9bcc
Disallow: /wp-content/backups-dropbox
Disallow: /wp-content/cache
Disallow: /xmlrpc.php
Disallow: /wp-content/themes
Disallow: /wp-content/languages
Disallow: /wp-content/upgrade
Disallow: /trackback/
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /*?*
Disallow: /?feed=
Disallow: /?s=
Disallow: /tag/
Sitemap: http://www.vash-site.ru/sitemap.xml.gz
Sitemap: http://www.vash-site.ru/sitemap.xml
 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /vote
Disallow: /vote/
Disallow: /author/
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /xmlrpc.php
Disallow: /wp-content/themes
Disallow: /trackback/
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /?feed=
Disallow: /*?*
Disallow: /?s=
Disallow: /tag/
Host: www.vash-site.ru

По этой теме также читают:

widgetkit_iconКомпонент Widjetkit для WordPress. Инструкция по установке и настройке перенаправление301 редирект или как склеить страницы с WWW и без Unlocker logoПрограмма Unlocker. Как удалить неудаляемый файл? подкачкаКак увеличить файл подкачки в Windows 7 хранилищеКак отправить файл большого размера? MS-Excel logoКак создать макрос в Excel? Ru.SaveFrom.Net — скачиваем любое видео с любого сайта

Оцените статью 1 Балл2 Балла3 Балла4 Балла5 Баллов (1 проголосовало, средняя оценка: 1,00 из 5)
Загрузка...

Комментарии (1)

  • Avatar

    Сергей

    |

    Спасибо за довольно полезную информацию. Такой вопрос – вижу параметры отдельно для Яндекс. Для всех остальных ПС достаточно общего? Может для Google тоже необходимы отдельные параметры?

    И еще, как вы отредактировали форму комментариев?

    Reply

Оставить комментарий