Text File

1User-agent: * # общие правила для роботов, кроме Яндекса и Google,

2 # т.к. для них правила ниже

3Disallow: /cgi-bin # папка на хостинге

4Disallow: /? # все параметры запроса на главной

5Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins

6Disallow: /wp/ # если есть подкаталог /wp/, где установлена CMS (если нет,

7 # правило можно удалить)

8Disallow: *?s= # поиск

9Disallow: *&s= # поиск

10Disallow: /search/ # поиск

11Disallow: /author/ # архив автора

12Disallow: /users/ # архив авторов

13Disallow: */trackback # трекбеки, уведомления в комментариях о появлении открытой

14 # ссылки на статью

15Disallow: */embed # все встраивания

16Disallow: */wlwmanifest.xml # xml-файл манифеста Windows Live Writer (если не используете,

17 # правило можно удалить)

18Disallow: /xmlrpc.php # файл WordPress API

19Disallow: *utm*= # ссылки с utm-метками

20Disallow: *openstat= # ссылки с метками openstat

21Allow: */uploads # открываем папку с файлами uploads

22

23User-agent: GoogleBot # правила для Google (комментарии не дублирую)

24Disallow: /cgi-bin

25Disallow: /?

26Disallow: /wp-

27Disallow: /wp/

28Disallow: *?s=

29Disallow: *&s=

30Disallow: /search/

31Disallow: /author/

32Disallow: /users/

33Disallow: */trackback

34Disallow: */embed

35Disallow: */wlwmanifest.xml

36Disallow: /xmlrpc.php

37Disallow: *utm*=

38Disallow: *openstat=

39Allow: */uploads

40Allow: /*/*.js # открываем js-скрипты внутри /wp- (/*/ - для приоритета)

...