Text File

1User-agent: * # общие правила для роботов, кроме Яндекса и Google, т.к. для них правила ниже

2

3Disallow: /export*

4

5# все параметры запросов

6Disallow: /*?

7

8# поиск

9Disallow: /search*

10

11#различные варианты дублей контента (исключаем дубли контента)

12Disallow: *utm*= # ссылки с utm-метками

13Disallow: *openstat= # ссылки с метками openstat

14

15# технические страницы они шаблонные и чтобы небыло пересечений их лучше не вгонять в индекс поисковиков

16Disallow: /o-sayte

17Disallow: /kontakty

18Disallow: /politika-konfidentsialnosti

19Disallow: /dmca-avtorskie-prava

20Disallow: /usloviya-ispolzovaniya

21Disallow: /pravoobladatelyam

22Disallow: /favourites

23

24#запрет на индексацию всех изображений

25Disallow: *.jpg

26Disallow: *.gif

27Disallow: *.tiff

28Disallow: *.bmp

29Disallow: *.jpeg

30Disallow: *.JPG

31Disallow: *.JPEG

32

33#запрет на индексацию файлов дизайна и скриптов

34Disallow: *.css

35Disallow: *.js

36

37

38# ИСКЛЮЧЕНИЯ

39# --------------------------------------------------------------------------------------------------

40#исключения для индексации изображений (в основном логотип и другие мелкие изображения для сервисов)

...