Disallow index php: Самый правильный robots.txt для популярных CMS

Самый правильный robots.txt для популярных CMS

Содержание с переходом

Примеры robots.txt

robots.txt – это текстовый файл, лежащий в корне сайта и сообщающий поисковым системам как индексировать сайт. Набор строк сообщает, какие разделы сайта разрешить или запретить от индексации, причем для некоторых поисковых систем, может быть использованы дополнительные параметры обрабатывающий только конкретной поисковой системой.

Подробное руководство по использованию - robots.txt для Яндекс

Для тех, кто долго не любит вникать, как правильно составить robots.txt, привожу сразу список наиболее популярных CMS, и какие чаще всего подойдут для них настройки.

Главное понимать, что эти файлы не гарантируют 100% правильную работу, так как могут не закрыть разделы которые у Вас должны быть закрыты или напротив закрыть то, что не должно быть закрыто. Эти примеры лучше всего использовать, для того чтобы составить самому правильный роботикс тхт для своего сайта и не упустить особенности используемого Вами движка.

Так же не забыть там, где стоит site.ru подставить свой сайт.

Почти во всех случаях будет актуально:


Clean-param: utm_source=*
Clean-param: utm_medium=*
Clean-param: utm_campaign=*
Clean-param: utm_content=*
Clean-param: utm_term=*
Clean-param: cm_id=*
Clean-param: openstat=*
Clean-param: ycid=*
Clean-param: gcid=*
Clean-param: ref=*

Просим не копировать и вставлять в том виде как есть, здесь перечислены лишь популярные элементы и так же требует тонкой настройки.

Если все слишком сложно, то пишите на почту, помогу настроить индексацию сайта.

robots.txt для WordPress

User-agent: *
Allow: /wp-content/uploads
Disallow: */comment-page-*
Disallow: */comments
Disallow: */feed
Disallow: */trackback
Disallow: /*?
Disallow: /?feed=
Disallow: /?s=
Disallow: /author
Disallow: /cgi-bin
Disallow: /comments
Disallow: /page
Disallow: /search
Disallow: /tag
Disallow: /trackback
Disallow: /webstat
Disallow: /wp-admin
Disallow: /wp-comments
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /wp-includes
Disallow: /wp-login.
php Disallow: /wp-register.php Disallow: /wp-trackback Disallow: /xmlrpc.php Sitemap: http://site.ru/sitemap.xml Host: site.ru

robots.txt для Joomla

User-agent: *
Allow: /images
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Disallow: /*?action=print
Disallow: /*?sl*
Disallow: /*atom.html
Disallow: /*rss.html
Disallow: /administrator
Disallow: /bin
Disallow: /cache
Disallow: /cli
Disallow: /component
Disallow: /components
Disallow: /includes
Disallow: /index*
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /installation
Disallow: /language
Disallow: /layouts
Disallow: /libraries
Disallow: /logs
Disallow: /media
Disallow: /modules
Disallow: /plugins
Disallow: /templates
Disallow: /tmp
Disallow: /trackback
Disallow: /xmlrpc
Sitemap: http://site.ru/sitemap.
xml Host: site.ru

robots.txt для MODX

User-agent: *
Disallow: /*?
Disallow: /*?id=
Disallow: /assets
Disallow: /assets/cache
Disallow: /assets/components
Disallow: /assets/docs
Disallow: /assets/export
Disallow: /assets/import
Disallow: /assets/modules
Disallow: /assets/plugins
Disallow: /assets/snippets
Disallow: /connectors
Disallow: /core
Disallow: /index.php
Disallow: /install
Disallow: /manager
Disallow: /profile
Disallow: /search
Sitemap: http://site.ru/sitemap.xml
Host: site.ru


robots.txt для uCoz

User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*-*-*-*-987$
Disallow: /*?
Disallow: /*_escaped_fragment_=
Disallow: /*0-*-0-17$
Disallow: /*0-0-
Disallow: /*-0-0-
Disallow: /a/
Disallow: /abnl
Disallow: /admin
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub
Disallow: /informer
Disallow: /mchat
Disallow: /panel
Disallow: /poll
Disallow: /register
Disallow: /search
Disallow: /secure
Disallow: /shop/checkout
Disallow: /shop/user
Disallow: /stat
Sitemap: http://site.
ru/sitemap-forum.xml Sitemap: http://site.ru/sitemap-shop.xml Sitemap: http://site.ru/sitemap.xml Host: site.ru

robots.txt для Drupal

User-agent: *
Disallow: *comment*
Disallow: *login*
Disallow: *register*
Disallow: /*&sort*
Disallow: /*/delete
Disallow: /*/edit
Disallow: /*?sort*
Disallow: /*calendar
Disallow: /*index.php
Disallow: /*order
Disallow: /*section
Disallow: /*votesupdown
Disallow: /?q=admin
Disallow: /?q=admin/
Disallow: /?q=comment/reply
Disallow: /?q=contact
Disallow: /?q=filter/tips
Disallow: /?q=logout
Disallow: /?q=node/add
Disallow: /?q=search
Disallow: /?q=user/login
Disallow: /?q=user/logout
Disallow: /?q=user/password
Disallow: /?q=user/register
Disallow: /admin
Disallow: /admin/
Disallow: /archive/
Disallow: /book/export/html
Disallow: /CHANGELOG.txt
Disallow: /comment
Disallow: /comment/reply
Disallow: /comments/recent
Disallow: /contact
Disallow: /cron.
php Disallow: /filter/tips Disallow: /forum Disallow: /forum/active Disallow: /forum/unanswered Disallow: /includes Disallow: /INSTALL.mysql.txt Disallow: /INSTALL.pgsql.txt Disallow: /install.php Disallow: /INSTALL.sqlite.txt Disallow: /INSTALL.txt Disallow: /LICENSE.txt Disallow: /logout Disallow: /logout/ Disallow: /MAINTAINERS.txt Disallow: /messages Disallow: /misc Disallow: /modules Disallow: /node Disallow: /node/add Disallow: /print/node Disallow: /profile Disallow: /profiles Disallow: /scripts Disallow: /search Disallow: /taxonomy Disallow: /taxonomy/term*/feed Disallow: /themes Disallow: /update.php Disallow: /UPGRADE.txt Disallow: /user Disallow: /user/ Disallow: /user/login Disallow: /user/logout Disallow: /user/password Disallow: /user/register Disallow: /xmlrpc.php Sitemap: http://site.ru/sitemap.
xml Host: site.ru

robots.txt для 1С-Битрикс
User-agent: * Allow: /map/ Allow: /search/map.php Allow: /bitrix/templates/ Disallow: */index.php Disallow: /*action= Disallow: /*print= Disallow: /*/gallery/*order= Disallow: /*/search/ Disallow: /*/slide_show/ Disallow: /*?utm_source= Disallow: /*ADD_TO_COMPARE_LIST Disallow: /*arrFilter= Disallow: /*auth= Disallow: /*back_url_admin= Disallow: /*BACK_URL= Disallow: /*back_url= Disallow: /*backurl= Disallow: /*bitrix_*= Disallow: /*bitrix_include_areas= Disallow: /*building_directory= Disallow: /*bxajaxid= Disallow: /*change_password= Disallow: /*clear_cache_session= Disallow: /*clear_cache= Disallow: /*count= Disallow: /*COURSE_ID= Disallow: /*forgot_password= Disallow: /*ID= Disallow: /*index.php$ Disallow: /*login= Disallow: /*logout= Disallow: /*modern-repair/$ Disallow: /*MUL_MODE= Disallow: /*ORDER_BY Disallow: /*PAGE_NAME= Disallow: /*PAGE_NAME=detail_slide_show Disallow: /*PAGE_NAME=search Disallow: /*PAGE_NAME=user_post Disallow: /*PAGEN_ Disallow: /*print_course= Disallow: /*print= Disallow: /*q= Disallow: /*register= Disallow: /*register=yes Disallow: /*set_filter= Disallow: /*show_all= Disallow: /*show_include_exec_time= Disallow: /*show_page_exec_time= Disallow: /*show_sql_stat= Disallow: /*SHOWALL_ Disallow: /*sort= Disallow: /*sphrase_id= Disallow: /*tags= Disallow: /access.
log Disallow: /admin Disallow: /api Disallow: /auth Disallow: /auth.php Disallow: /auto Disallow: /bitrix Disallow: /bitrix/ Disallow: /cgi-bin Disallow: /club/$ Disallow: /club/forum/search/ Disallow: /club/gallery/tags/ Disallow: /club/group/search/ Disallow: /club/log/ Disallow: /club/messages/ Disallow: /club/search/ Disallow: /communication/blog/search.php Disallow: /communication/forum/search/ Disallow: /communication/forum/user/ Disallow: /content/board/my/ Disallow: /content/links/my/ Disallow: /error Disallow: /e-store/affiliates/ Disallow: /e-store/paid/detail.php Disallow: /examples/download/download_private/ Disallow: /examples/my-components/ Disallow: /include Disallow: /personal Disallow: /search Disallow: /temp Disallow: /tmp Disallow: /upload Disallow: /*/*ELEMENT_CODE= Disallow: /*/*SECTION_CODE= Disallow: /*/*IBLOCK_CODE Disallow: /*/*ELEMENT_ID= Disallow: /*/*SECTION_ID= Disallow: /*/*IBLOCK_ID= Disallow: /*/*CODE= Disallow: /*/*ID= Disallow: /*/*IBLOCK_EXTERNAL_ID= Disallow: /*/*SECTION_CODE_PATH= Disallow: /*/*EXTERNAL_ID= Disallow: /*/*IBLOCK_TYPE_ID= Disallow: /*/*SITE_DIR= Disallow: /*/*SERVER_NAME= Sitemap: http://site.
ru/sitemap_index.xml Sitemap: http://site.ru/sitemap.xml Host: site.ru

robots.txt для NetCat

User-agent: *
Disallow: /*.swf
Disallow: /*?
Disallow: /eng
Disallow: /install
Disallow: /js
Disallow: /links
Disallow: /netcat
Disallow: /netcat_cache
Disallow: /netcat_dump
Disallow: /netcat_files
Sitemap: http://site.ru/sitemap.xml
Host: site.ru


robots.txt для UMI.CMS

User-agent: *
Disallow: /*?
Disallow: /?
Disallow: /admin
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /files
Disallow: /go_out.php
Disallow: /images
Disallow: /images/lizing
Disallow: /images/ntc
Disallow: /index.php
Disallow: /install-libs
Disallow: /install-static
Disallow: /install-temp
Disallow: /search
Disallow: /users
Sitemap: http://site.ru/sitemap.xml
Host: site. ru


robots.txt для HostCMS

User-agent: *
Disallow: /403
Disallow: /404
Disallow: /admin
Disallow: /articles/tag
Disallow: /captcha.php
Disallow: /chmod.sh
Disallow: /config.php
Disallow: /config_db.php
Disallow: /data_templates
Disallow: /documents
Disallow: /download_file.php
Disallow: /glossary/tag
Disallow: /hostcmsfiles
Disallow: /lib
Disallow: /logs
Disallow: /main_classes.php
Disallow: /modules
Disallow: /news/tag
Disallow: /search
Disallow: /structure
Disallow: /templates
Disallow: /tmp
Disallow: /upload
Disallow: /xsl
Disallow: captcha.php
Disallow: download_file.php
Sitemap: http://site.ru/sitemap.xml
Host: site.ru


robots.txt для OpenCart

User-agent: *
Disallow: /*filter_description=
Disallow: /*filter_name=
Disallow: /*filter_sub_category=
Disallow: /*keyword
Disallow: /*limit=
Disallow: /*manufacturer
Disallow: /*order=
Disallow: /*page=
Disallow: /*route=account
Disallow: /*route=account/login
Disallow: /*route=affiliate
Disallow: /*route=checkout
Disallow: /*route=checkout/cart
Disallow: /*route=product/search
Disallow: /*sort=
Disallow: /*tracking=
Disallow: /admin
Disallow: /cache
Disallow: /cart
Disallow: /catalog
Disallow: /change-password
Disallow: /checkout
Disallow: /download
Disallow: /export
Disallow: /index. php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=account/login
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/category
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /login
Disallow: /my-account
Disallow: /order-history
Disallow: /request-return
Disallow: /search
Disallow: /search?filter_name=
Disallow: /search?tag=
Disallow: /system
Disallow: /vouchers
Disallow: /vqmod
Disallow: /wishlist
Sitemap: http://site.ru/sitemap.xml
Host: site.ru


Проверка robots.txt

После вставки проверяем корректность работы файла:

Для Яндекс – без регистрации, через Яндекс. Вебмастер
Для Google – инструкция, с регистрацией через Google Вебмастер

В заключении о файле индексации

Если нет Вашей CMS пишите, для Вас составлю бесплатно этот файл и добавлю в список поста.

Так же я старался дать уникальные примеры файлов и редко делю директиву User-agent, как это некоторые любят, по следующим причинам:

  • нет смысла делить то, что понимают все поисковые системы, результат создает избыточный размер файла, в крайнем случае, неизвестную директиву проигнорируют
  • если мы делим на конкретные ПС, не указывая звездочку, то другие ПС не смогут корректно проиндексировать сайт
  • если мы делим на конкретные ПС с указанием звездочки, тогда нет смысла перечислять в двух местах одни и те же директивы, а для других ПС имеет смысл перечислять тоже самое

Подробное руководство по использованию - robots.txt для Яндекс

Для тех, кто долго не любит вникать, как правильно составить robots. txt, привожу сразу список наиболее популярных CMS, и какие чаще всего подойдут для них настройки.

Главное понимать, что эти файлы не гарантируют 100% правильную работу, так как могут не закрыть разделы которые у Вас должны быть закрыты или напротив закрыть то, что не должно быть закрыто. Эти примеры лучше всего использовать, для того чтобы составить самому правильный роботикс тхт для своего сайта и не упустить особенности используемого Вами движка.

Так же не забыть там, где стоит site.ru подставить свой сайт.

Если все слишком сложно, то пишите на почту, помогу настроить индексацию сайта.

Самый правильный robots.txt для популярных CMS

Содержание с переходом

Примеры robots.txt

robots.txt – это текстовый файл, лежащий в корне сайта и сообщающий поисковым системам как индексировать сайт. Набор строк сообщает, какие разделы сайта разрешить или запретить от индексации, причем для некоторых поисковых систем, может быть использованы дополнительные параметры обрабатывающий только конкретной поисковой системой.

Подробное руководство по использованию - robots.txt для Яндекс

Для тех, кто долго не любит вникать, как правильно составить robots.txt, привожу сразу список наиболее популярных CMS, и какие чаще всего подойдут для них настройки.

Главное понимать, что эти файлы не гарантируют 100% правильную работу, так как могут не закрыть разделы которые у Вас должны быть закрыты или напротив закрыть то, что не должно быть закрыто. Эти примеры лучше всего использовать, для того чтобы составить самому правильный роботикс тхт для своего сайта и не упустить особенности используемого Вами движка.

Так же не забыть там, где стоит site.ru подставить свой сайт.

Почти во всех случаях будет актуально:


Clean-param: utm_source=*
Clean-param: utm_medium=*
Clean-param: utm_campaign=*
Clean-param: utm_content=*
Clean-param: utm_term=*
Clean-param: cm_id=*
Clean-param: openstat=*
Clean-param: ycid=*
Clean-param: gcid=*
Clean-param: ref=*

Просим не копировать и вставлять в том виде как есть, здесь перечислены лишь популярные элементы и так же требует тонкой настройки.

Если все слишком сложно, то пишите на почту, помогу настроить индексацию сайта.

robots.txt для WordPress

User-agent: *
Allow: /wp-content/uploads
Disallow: */comment-page-*
Disallow: */comments
Disallow: */feed
Disallow: */trackback
Disallow: /*?
Disallow: /?feed=
Disallow: /?s=
Disallow: /author
Disallow: /cgi-bin
Disallow: /comments
Disallow: /page
Disallow: /search
Disallow: /tag
Disallow: /trackback
Disallow: /webstat
Disallow: /wp-admin
Disallow: /wp-comments
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-trackback
Disallow: /xmlrpc.php
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

robots.txt для Joomla

User-agent: *
Allow: /images
Allow: /index. php?option=com_xmap&sitemap=1&view=xml
Disallow: /*?action=print
Disallow: /*?sl*
Disallow: /*atom.html
Disallow: /*rss.html
Disallow: /administrator
Disallow: /bin
Disallow: /cache
Disallow: /cli
Disallow: /component
Disallow: /components
Disallow: /includes
Disallow: /index*
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /installation
Disallow: /language
Disallow: /layouts
Disallow: /libraries
Disallow: /logs
Disallow: /media
Disallow: /modules
Disallow: /plugins
Disallow: /templates
Disallow: /tmp
Disallow: /trackback
Disallow: /xmlrpc
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

robots.txt для MODX

User-agent: *
Disallow: /*?
Disallow: /*?id=
Disallow: /assets
Disallow: /assets/cache
Disallow: /assets/components
Disallow: /assets/docs
Disallow: /assets/export
Disallow: /assets/import
Disallow: /assets/modules
Disallow: /assets/plugins
Disallow: /assets/snippets
Disallow: /connectors
Disallow: /core
Disallow: /index. php
Disallow: /install
Disallow: /manager
Disallow: /profile
Disallow: /search
Sitemap: http://site.ru/sitemap.xml
Host: site.ru


robots.txt для uCoz

User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*-*-*-*-987$
Disallow: /*?
Disallow: /*_escaped_fragment_=
Disallow: /*0-*-0-17$
Disallow: /*0-0-
Disallow: /*-0-0-
Disallow: /a/
Disallow: /abnl
Disallow: /admin
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub
Disallow: /informer
Disallow: /mchat
Disallow: /panel
Disallow: /poll
Disallow: /register
Disallow: /search
Disallow: /secure
Disallow: /shop/checkout
Disallow: /shop/user
Disallow: /stat
Sitemap: http://site.ru/sitemap-forum.xml
Sitemap: http://site.ru/sitemap-shop. xml
Sitemap: http://site.ru/sitemap.xml
Host: site.ru


robots.txt для Drupal

User-agent: *
Disallow: *comment*
Disallow: *login*
Disallow: *register*
Disallow: /*&sort*
Disallow: /*/delete
Disallow: /*/edit
Disallow: /*?sort*
Disallow: /*calendar
Disallow: /*index.php
Disallow: /*order
Disallow: /*section
Disallow: /*votesupdown
Disallow: /?q=admin
Disallow: /?q=admin/
Disallow: /?q=comment/reply
Disallow: /?q=contact
Disallow: /?q=filter/tips
Disallow: /?q=logout
Disallow: /?q=node/add
Disallow: /?q=search
Disallow: /?q=user/login
Disallow: /?q=user/logout
Disallow: /?q=user/password
Disallow: /?q=user/register
Disallow: /admin
Disallow: /admin/
Disallow: /archive/
Disallow: /book/export/html
Disallow: /CHANGELOG.txt
Disallow: /comment
Disallow: /comment/reply
Disallow: /comments/recent
Disallow: /contact
Disallow: /cron. php
Disallow: /filter/tips
Disallow: /forum
Disallow: /forum/active
Disallow: /forum/unanswered
Disallow: /includes
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /install.php
Disallow: /INSTALL.sqlite.txt
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /logout
Disallow: /logout/
Disallow: /MAINTAINERS.txt
Disallow: /messages
Disallow: /misc
Disallow: /modules
Disallow: /node
Disallow: /node/add
Disallow: /print/node
Disallow: /profile
Disallow: /profiles
Disallow: /scripts
Disallow: /search
Disallow: /taxonomy
Disallow: /taxonomy/term*/feed
Disallow: /themes
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /user
Disallow: /user/
Disallow: /user/login
Disallow: /user/logout
Disallow: /user/password
Disallow: /user/register
Disallow: /xmlrpc.php
Sitemap: http://site.ru/sitemap. xml
Host: site.ru


robots.txt для 1С-Битрикс

User-agent: *
Allow: /map/
Allow: /search/map.php
Allow: /bitrix/templates/
Disallow: */index.php
Disallow: /*action=
Disallow: /*print=
Disallow: /*/gallery/*order=
Disallow: /*/search/
Disallow: /*/slide_show/
Disallow: /*?utm_source=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*arrFilter=
Disallow: /*auth=
Disallow: /*back_url_admin=
Disallow: /*BACK_URL=
Disallow: /*back_url=
Disallow: /*backurl=
Disallow: /*bitrix_*=
Disallow: /*bitrix_include_areas=
Disallow: /*building_directory=
Disallow: /*bxajaxid=
Disallow: /*change_password=
Disallow: /*clear_cache_session=
Disallow: /*clear_cache=
Disallow: /*count=
Disallow: /*COURSE_ID=
Disallow: /*forgot_password=
Disallow: /*ID=
Disallow: /*index.php$
Disallow: /*login=
Disallow: /*logout=
Disallow: /*modern-repair/$
Disallow: /*MUL_MODE=
Disallow: /*ORDER_BY
Disallow: /*PAGE_NAME=
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGEN_
Disallow: /*print_course=
Disallow: /*print=
Disallow: /*q=
Disallow: /*register=
Disallow: /*register=yes
Disallow: /*set_filter=
Disallow: /*show_all=
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*SHOWALL_
Disallow: /*sort=
Disallow: /*sphrase_id=
Disallow: /*tags=
Disallow: /access. log
Disallow: /admin
Disallow: /api
Disallow: /auth
Disallow: /auth.php
Disallow: /auto
Disallow: /bitrix
Disallow: /bitrix/
Disallow: /cgi-bin
Disallow: /club/$
Disallow: /club/forum/search/
Disallow: /club/gallery/tags/
Disallow: /club/group/search/
Disallow: /club/log/
Disallow: /club/messages/
Disallow: /club/search/
Disallow: /communication/blog/search.php
Disallow: /communication/forum/search/
Disallow: /communication/forum/user/
Disallow: /content/board/my/
Disallow: /content/links/my/
Disallow: /error
Disallow: /e-store/affiliates/
Disallow: /e-store/paid/detail.php
Disallow: /examples/download/download_private/
Disallow: /examples/my-components/
Disallow: /include
Disallow: /personal
Disallow: /search
Disallow: /temp
Disallow: /tmp
Disallow: /upload
Disallow: /*/*ELEMENT_CODE=
Disallow: /*/*SECTION_CODE=
Disallow: /*/*IBLOCK_CODE
Disallow: /*/*ELEMENT_ID=
Disallow: /*/*SECTION_ID=
Disallow: /*/*IBLOCK_ID=
Disallow: /*/*CODE=
Disallow: /*/*ID=
Disallow: /*/*IBLOCK_EXTERNAL_ID=
Disallow: /*/*SECTION_CODE_PATH=
Disallow: /*/*EXTERNAL_ID=
Disallow: /*/*IBLOCK_TYPE_ID=
Disallow: /*/*SITE_DIR=
Disallow: /*/*SERVER_NAME=
Sitemap: http://site. ru/sitemap_index.xml
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

robots.txt для NetCat

User-agent: *
Disallow: /*.swf
Disallow: /*?
Disallow: /eng
Disallow: /install
Disallow: /js
Disallow: /links
Disallow: /netcat
Disallow: /netcat_cache
Disallow: /netcat_dump
Disallow: /netcat_files
Sitemap: http://site.ru/sitemap.xml
Host: site.ru


robots.txt для UMI.CMS

User-agent: *
Disallow: /*?
Disallow: /?
Disallow: /admin
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /files
Disallow: /go_out.php
Disallow: /images
Disallow: /images/lizing
Disallow: /images/ntc
Disallow: /index.php
Disallow: /install-libs
Disallow: /install-static
Disallow: /install-temp
Disallow: /search
Disallow: /users
Sitemap: http://site.ru/sitemap.xml
Host: site. ru


robots.txt для HostCMS

User-agent: *
Disallow: /403
Disallow: /404
Disallow: /admin
Disallow: /articles/tag
Disallow: /captcha.php
Disallow: /chmod.sh
Disallow: /config.php
Disallow: /config_db.php
Disallow: /data_templates
Disallow: /documents
Disallow: /download_file.php
Disallow: /glossary/tag
Disallow: /hostcmsfiles
Disallow: /lib
Disallow: /logs
Disallow: /main_classes.php
Disallow: /modules
Disallow: /news/tag
Disallow: /search
Disallow: /structure
Disallow: /templates
Disallow: /tmp
Disallow: /upload
Disallow: /xsl
Disallow: captcha.php
Disallow: download_file.php
Sitemap: http://site.ru/sitemap.xml
Host: site.ru


robots.txt для OpenCart

User-agent: *
Disallow: /*filter_description=
Disallow: /*filter_name=
Disallow: /*filter_sub_category=
Disallow: /*keyword
Disallow: /*limit=
Disallow: /*manufacturer
Disallow: /*order=
Disallow: /*page=
Disallow: /*route=account
Disallow: /*route=account/login
Disallow: /*route=affiliate
Disallow: /*route=checkout
Disallow: /*route=checkout/cart
Disallow: /*route=product/search
Disallow: /*sort=
Disallow: /*tracking=
Disallow: /admin
Disallow: /cache
Disallow: /cart
Disallow: /catalog
Disallow: /change-password
Disallow: /checkout
Disallow: /download
Disallow: /export
Disallow: /index. php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=account/login
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/category
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /login
Disallow: /my-account
Disallow: /order-history
Disallow: /request-return
Disallow: /search
Disallow: /search?filter_name=
Disallow: /search?tag=
Disallow: /system
Disallow: /vouchers
Disallow: /vqmod
Disallow: /wishlist
Sitemap: http://site.ru/sitemap.xml
Host: site.ru


Проверка robots.txt

После вставки проверяем корректность работы файла:

Для Яндекс – без регистрации, через Яндекс. Вебмастер
Для Google – инструкция, с регистрацией через Google Вебмастер

В заключении о файле индексации

Если нет Вашей CMS пишите, для Вас составлю бесплатно этот файл и добавлю в список поста.

Так же я старался дать уникальные примеры файлов и редко делю директиву User-agent, как это некоторые любят, по следующим причинам:

  • нет смысла делить то, что понимают все поисковые системы, результат создает избыточный размер файла, в крайнем случае, неизвестную директиву проигнорируют
  • если мы делим на конкретные ПС, не указывая звездочку, то другие ПС не смогут корректно проиндексировать сайт
  • если мы делим на конкретные ПС с указанием звездочки, тогда нет смысла перечислять в двух местах одни и те же директивы, а для других ПС имеет смысл перечислять тоже самое

Подробное руководство по использованию - robots.txt для Яндекс

Для тех, кто долго не любит вникать, как правильно составить robots. txt, привожу сразу список наиболее популярных CMS, и какие чаще всего подойдут для них настройки.

Главное понимать, что эти файлы не гарантируют 100% правильную работу, так как могут не закрыть разделы которые у Вас должны быть закрыты или напротив закрыть то, что не должно быть закрыто. Эти примеры лучше всего использовать, для того чтобы составить самому правильный роботикс тхт для своего сайта и не упустить особенности используемого Вами движка.

Так же не забыть там, где стоит site.ru подставить свой сайт.

Если все слишком сложно, то пишите на почту, помогу настроить индексацию сайта.

Самый правильный robots.txt для популярных CMS

Содержание с переходом

Примеры robots.txt

robots.txt – это текстовый файл, лежащий в корне сайта и сообщающий поисковым системам как индексировать сайт. Набор строк сообщает, какие разделы сайта разрешить или запретить от индексации, причем для некоторых поисковых систем, может быть использованы дополнительные параметры обрабатывающий только конкретной поисковой системой.

Подробное руководство по использованию - robots.txt для Яндекс

Для тех, кто долго не любит вникать, как правильно составить robots.txt, привожу сразу список наиболее популярных CMS, и какие чаще всего подойдут для них настройки.

Главное понимать, что эти файлы не гарантируют 100% правильную работу, так как могут не закрыть разделы которые у Вас должны быть закрыты или напротив закрыть то, что не должно быть закрыто. Эти примеры лучше всего использовать, для того чтобы составить самому правильный роботикс тхт для своего сайта и не упустить особенности используемого Вами движка.

Так же не забыть там, где стоит site.ru подставить свой сайт.

Почти во всех случаях будет актуально:


Clean-param: utm_source=*
Clean-param: utm_medium=*
Clean-param: utm_campaign=*
Clean-param: utm_content=*
Clean-param: utm_term=*
Clean-param: cm_id=*
Clean-param: openstat=*
Clean-param: ycid=*
Clean-param: gcid=*
Clean-param: ref=*

Просим не копировать и вставлять в том виде как есть, здесь перечислены лишь популярные элементы и так же требует тонкой настройки.

Если все слишком сложно, то пишите на почту, помогу настроить индексацию сайта.

robots.txt для WordPress

User-agent: *
Allow: /wp-content/uploads
Disallow: */comment-page-*
Disallow: */comments
Disallow: */feed
Disallow: */trackback
Disallow: /*?
Disallow: /?feed=
Disallow: /?s=
Disallow: /author
Disallow: /cgi-bin
Disallow: /comments
Disallow: /page
Disallow: /search
Disallow: /tag
Disallow: /trackback
Disallow: /webstat
Disallow: /wp-admin
Disallow: /wp-comments
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-trackback
Disallow: /xmlrpc.php
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

robots.txt для Joomla

User-agent: *
Allow: /images
Allow: /index. php?option=com_xmap&sitemap=1&view=xml
Disallow: /*?action=print
Disallow: /*?sl*
Disallow: /*atom.html
Disallow: /*rss.html
Disallow: /administrator
Disallow: /bin
Disallow: /cache
Disallow: /cli
Disallow: /component
Disallow: /components
Disallow: /includes
Disallow: /index*
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /installation
Disallow: /language
Disallow: /layouts
Disallow: /libraries
Disallow: /logs
Disallow: /media
Disallow: /modules
Disallow: /plugins
Disallow: /templates
Disallow: /tmp
Disallow: /trackback
Disallow: /xmlrpc
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

robots.txt для MODX

User-agent: *
Disallow: /*?
Disallow: /*?id=
Disallow: /assets
Disallow: /assets/cache
Disallow: /assets/components
Disallow: /assets/docs
Disallow: /assets/export
Disallow: /assets/import
Disallow: /assets/modules
Disallow: /assets/plugins
Disallow: /assets/snippets
Disallow: /connectors
Disallow: /core
Disallow: /index. php
Disallow: /install
Disallow: /manager
Disallow: /profile
Disallow: /search
Sitemap: http://site.ru/sitemap.xml
Host: site.ru


robots.txt для uCoz

User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*-*-*-*-987$
Disallow: /*?
Disallow: /*_escaped_fragment_=
Disallow: /*0-*-0-17$
Disallow: /*0-0-
Disallow: /*-0-0-
Disallow: /a/
Disallow: /abnl
Disallow: /admin
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub
Disallow: /informer
Disallow: /mchat
Disallow: /panel
Disallow: /poll
Disallow: /register
Disallow: /search
Disallow: /secure
Disallow: /shop/checkout
Disallow: /shop/user
Disallow: /stat
Sitemap: http://site.ru/sitemap-forum.xml
Sitemap: http://site.ru/sitemap-shop. xml
Sitemap: http://site.ru/sitemap.xml
Host: site.ru


robots.txt для Drupal

User-agent: *
Disallow: *comment*
Disallow: *login*
Disallow: *register*
Disallow: /*&sort*
Disallow: /*/delete
Disallow: /*/edit
Disallow: /*?sort*
Disallow: /*calendar
Disallow: /*index.php
Disallow: /*order
Disallow: /*section
Disallow: /*votesupdown
Disallow: /?q=admin
Disallow: /?q=admin/
Disallow: /?q=comment/reply
Disallow: /?q=contact
Disallow: /?q=filter/tips
Disallow: /?q=logout
Disallow: /?q=node/add
Disallow: /?q=search
Disallow: /?q=user/login
Disallow: /?q=user/logout
Disallow: /?q=user/password
Disallow: /?q=user/register
Disallow: /admin
Disallow: /admin/
Disallow: /archive/
Disallow: /book/export/html
Disallow: /CHANGELOG.txt
Disallow: /comment
Disallow: /comment/reply
Disallow: /comments/recent
Disallow: /contact
Disallow: /cron. php
Disallow: /filter/tips
Disallow: /forum
Disallow: /forum/active
Disallow: /forum/unanswered
Disallow: /includes
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /install.php
Disallow: /INSTALL.sqlite.txt
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /logout
Disallow: /logout/
Disallow: /MAINTAINERS.txt
Disallow: /messages
Disallow: /misc
Disallow: /modules
Disallow: /node
Disallow: /node/add
Disallow: /print/node
Disallow: /profile
Disallow: /profiles
Disallow: /scripts
Disallow: /search
Disallow: /taxonomy
Disallow: /taxonomy/term*/feed
Disallow: /themes
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /user
Disallow: /user/
Disallow: /user/login
Disallow: /user/logout
Disallow: /user/password
Disallow: /user/register
Disallow: /xmlrpc.php
Sitemap: http://site.ru/sitemap. xml
Host: site.ru


robots.txt для 1С-Битрикс

User-agent: *
Allow: /map/
Allow: /search/map.php
Allow: /bitrix/templates/
Disallow: */index.php
Disallow: /*action=
Disallow: /*print=
Disallow: /*/gallery/*order=
Disallow: /*/search/
Disallow: /*/slide_show/
Disallow: /*?utm_source=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*arrFilter=
Disallow: /*auth=
Disallow: /*back_url_admin=
Disallow: /*BACK_URL=
Disallow: /*back_url=
Disallow: /*backurl=
Disallow: /*bitrix_*=
Disallow: /*bitrix_include_areas=
Disallow: /*building_directory=
Disallow: /*bxajaxid=
Disallow: /*change_password=
Disallow: /*clear_cache_session=
Disallow: /*clear_cache=
Disallow: /*count=
Disallow: /*COURSE_ID=
Disallow: /*forgot_password=
Disallow: /*ID=
Disallow: /*index.php$
Disallow: /*login=
Disallow: /*logout=
Disallow: /*modern-repair/$
Disallow: /*MUL_MODE=
Disallow: /*ORDER_BY
Disallow: /*PAGE_NAME=
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGEN_
Disallow: /*print_course=
Disallow: /*print=
Disallow: /*q=
Disallow: /*register=
Disallow: /*register=yes
Disallow: /*set_filter=
Disallow: /*show_all=
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*SHOWALL_
Disallow: /*sort=
Disallow: /*sphrase_id=
Disallow: /*tags=
Disallow: /access. log
Disallow: /admin
Disallow: /api
Disallow: /auth
Disallow: /auth.php
Disallow: /auto
Disallow: /bitrix
Disallow: /bitrix/
Disallow: /cgi-bin
Disallow: /club/$
Disallow: /club/forum/search/
Disallow: /club/gallery/tags/
Disallow: /club/group/search/
Disallow: /club/log/
Disallow: /club/messages/
Disallow: /club/search/
Disallow: /communication/blog/search.php
Disallow: /communication/forum/search/
Disallow: /communication/forum/user/
Disallow: /content/board/my/
Disallow: /content/links/my/
Disallow: /error
Disallow: /e-store/affiliates/
Disallow: /e-store/paid/detail.php
Disallow: /examples/download/download_private/
Disallow: /examples/my-components/
Disallow: /include
Disallow: /personal
Disallow: /search
Disallow: /temp
Disallow: /tmp
Disallow: /upload
Disallow: /*/*ELEMENT_CODE=
Disallow: /*/*SECTION_CODE=
Disallow: /*/*IBLOCK_CODE
Disallow: /*/*ELEMENT_ID=
Disallow: /*/*SECTION_ID=
Disallow: /*/*IBLOCK_ID=
Disallow: /*/*CODE=
Disallow: /*/*ID=
Disallow: /*/*IBLOCK_EXTERNAL_ID=
Disallow: /*/*SECTION_CODE_PATH=
Disallow: /*/*EXTERNAL_ID=
Disallow: /*/*IBLOCK_TYPE_ID=
Disallow: /*/*SITE_DIR=
Disallow: /*/*SERVER_NAME=
Sitemap: http://site. ru/sitemap_index.xml
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

robots.txt для NetCat

User-agent: *
Disallow: /*.swf
Disallow: /*?
Disallow: /eng
Disallow: /install
Disallow: /js
Disallow: /links
Disallow: /netcat
Disallow: /netcat_cache
Disallow: /netcat_dump
Disallow: /netcat_files
Sitemap: http://site.ru/sitemap.xml
Host: site.ru


robots.txt для UMI.CMS

User-agent: *
Disallow: /*?
Disallow: /?
Disallow: /admin
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /files
Disallow: /go_out.php
Disallow: /images
Disallow: /images/lizing
Disallow: /images/ntc
Disallow: /index.php
Disallow: /install-libs
Disallow: /install-static
Disallow: /install-temp
Disallow: /search
Disallow: /users
Sitemap: http://site.ru/sitemap.xml
Host: site. ru


robots.txt для HostCMS

User-agent: *
Disallow: /403
Disallow: /404
Disallow: /admin
Disallow: /articles/tag
Disallow: /captcha.php
Disallow: /chmod.sh
Disallow: /config.php
Disallow: /config_db.php
Disallow: /data_templates
Disallow: /documents
Disallow: /download_file.php
Disallow: /glossary/tag
Disallow: /hostcmsfiles
Disallow: /lib
Disallow: /logs
Disallow: /main_classes.php
Disallow: /modules
Disallow: /news/tag
Disallow: /search
Disallow: /structure
Disallow: /templates
Disallow: /tmp
Disallow: /upload
Disallow: /xsl
Disallow: captcha.php
Disallow: download_file.php
Sitemap: http://site.ru/sitemap.xml
Host: site.ru


robots.txt для OpenCart

User-agent: *
Disallow: /*filter_description=
Disallow: /*filter_name=
Disallow: /*filter_sub_category=
Disallow: /*keyword
Disallow: /*limit=
Disallow: /*manufacturer
Disallow: /*order=
Disallow: /*page=
Disallow: /*route=account
Disallow: /*route=account/login
Disallow: /*route=affiliate
Disallow: /*route=checkout
Disallow: /*route=checkout/cart
Disallow: /*route=product/search
Disallow: /*sort=
Disallow: /*tracking=
Disallow: /admin
Disallow: /cache
Disallow: /cart
Disallow: /catalog
Disallow: /change-password
Disallow: /checkout
Disallow: /download
Disallow: /export
Disallow: /index. php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=account/login
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/category
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /login
Disallow: /my-account
Disallow: /order-history
Disallow: /request-return
Disallow: /search
Disallow: /search?filter_name=
Disallow: /search?tag=
Disallow: /system
Disallow: /vouchers
Disallow: /vqmod
Disallow: /wishlist
Sitemap: http://site.ru/sitemap.xml
Host: site.ru


Проверка robots.txt

После вставки проверяем корректность работы файла:

Для Яндекс – без регистрации, через Яндекс. Вебмастер
Для Google – инструкция, с регистрацией через Google Вебмастер

В заключении о файле индексации

Если нет Вашей CMS пишите, для Вас составлю бесплатно этот файл и добавлю в список поста.

Так же я старался дать уникальные примеры файлов и редко делю директиву User-agent, как это некоторые любят, по следующим причинам:

  • нет смысла делить то, что понимают все поисковые системы, результат создает избыточный размер файла, в крайнем случае, неизвестную директиву проигнорируют
  • если мы делим на конкретные ПС, не указывая звездочку, то другие ПС не смогут корректно проиндексировать сайт
  • если мы делим на конкретные ПС с указанием звездочки, тогда нет смысла перечислять в двух местах одни и те же директивы, а для других ПС имеет смысл перечислять тоже самое

Подробное руководство по использованию - robots.txt для Яндекс

Для тех, кто долго не любит вникать, как правильно составить robots. txt, привожу сразу список наиболее популярных CMS, и какие чаще всего подойдут для них настройки.

Главное понимать, что эти файлы не гарантируют 100% правильную работу, так как могут не закрыть разделы которые у Вас должны быть закрыты или напротив закрыть то, что не должно быть закрыто. Эти примеры лучше всего использовать, для того чтобы составить самому правильный роботикс тхт для своего сайта и не упустить особенности используемого Вами движка.

Так же не забыть там, где стоит site.ru подставить свой сайт.

Если все слишком сложно, то пишите на почту, помогу настроить индексацию сайта.

Самый правильный robots.txt для популярных CMS

Содержание с переходом

Примеры robots.txt

robots.txt – это текстовый файл, лежащий в корне сайта и сообщающий поисковым системам как индексировать сайт. Набор строк сообщает, какие разделы сайта разрешить или запретить от индексации, причем для некоторых поисковых систем, может быть использованы дополнительные параметры обрабатывающий только конкретной поисковой системой.

Подробное руководство по использованию - robots.txt для Яндекс

Для тех, кто долго не любит вникать, как правильно составить robots.txt, привожу сразу список наиболее популярных CMS, и какие чаще всего подойдут для них настройки.

Главное понимать, что эти файлы не гарантируют 100% правильную работу, так как могут не закрыть разделы которые у Вас должны быть закрыты или напротив закрыть то, что не должно быть закрыто. Эти примеры лучше всего использовать, для того чтобы составить самому правильный роботикс тхт для своего сайта и не упустить особенности используемого Вами движка.

Так же не забыть там, где стоит site.ru подставить свой сайт.

Почти во всех случаях будет актуально:


Clean-param: utm_source=*
Clean-param: utm_medium=*
Clean-param: utm_campaign=*
Clean-param: utm_content=*
Clean-param: utm_term=*
Clean-param: cm_id=*
Clean-param: openstat=*
Clean-param: ycid=*
Clean-param: gcid=*
Clean-param: ref=*

Просим не копировать и вставлять в том виде как есть, здесь перечислены лишь популярные элементы и так же требует тонкой настройки.

Если все слишком сложно, то пишите на почту, помогу настроить индексацию сайта.

robots.txt для WordPress

User-agent: *
Allow: /wp-content/uploads
Disallow: */comment-page-*
Disallow: */comments
Disallow: */feed
Disallow: */trackback
Disallow: /*?
Disallow: /?feed=
Disallow: /?s=
Disallow: /author
Disallow: /cgi-bin
Disallow: /comments
Disallow: /page
Disallow: /search
Disallow: /tag
Disallow: /trackback
Disallow: /webstat
Disallow: /wp-admin
Disallow: /wp-comments
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-trackback
Disallow: /xmlrpc.php
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

robots.txt для Joomla

User-agent: *
Allow: /images
Allow: /index. php?option=com_xmap&sitemap=1&view=xml
Disallow: /*?action=print
Disallow: /*?sl*
Disallow: /*atom.html
Disallow: /*rss.html
Disallow: /administrator
Disallow: /bin
Disallow: /cache
Disallow: /cli
Disallow: /component
Disallow: /components
Disallow: /includes
Disallow: /index*
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /installation
Disallow: /language
Disallow: /layouts
Disallow: /libraries
Disallow: /logs
Disallow: /media
Disallow: /modules
Disallow: /plugins
Disallow: /templates
Disallow: /tmp
Disallow: /trackback
Disallow: /xmlrpc
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

robots.txt для MODX

User-agent: *
Disallow: /*?
Disallow: /*?id=
Disallow: /assets
Disallow: /assets/cache
Disallow: /assets/components
Disallow: /assets/docs
Disallow: /assets/export
Disallow: /assets/import
Disallow: /assets/modules
Disallow: /assets/plugins
Disallow: /assets/snippets
Disallow: /connectors
Disallow: /core
Disallow: /index. php
Disallow: /install
Disallow: /manager
Disallow: /profile
Disallow: /search
Sitemap: http://site.ru/sitemap.xml
Host: site.ru


robots.txt для uCoz

User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*-*-*-*-987$
Disallow: /*?
Disallow: /*_escaped_fragment_=
Disallow: /*0-*-0-17$
Disallow: /*0-0-
Disallow: /*-0-0-
Disallow: /a/
Disallow: /abnl
Disallow: /admin
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub
Disallow: /informer
Disallow: /mchat
Disallow: /panel
Disallow: /poll
Disallow: /register
Disallow: /search
Disallow: /secure
Disallow: /shop/checkout
Disallow: /shop/user
Disallow: /stat
Sitemap: http://site.ru/sitemap-forum.xml
Sitemap: http://site.ru/sitemap-shop. xml
Sitemap: http://site.ru/sitemap.xml
Host: site.ru


robots.txt для Drupal

User-agent: *
Disallow: *comment*
Disallow: *login*
Disallow: *register*
Disallow: /*&sort*
Disallow: /*/delete
Disallow: /*/edit
Disallow: /*?sort*
Disallow: /*calendar
Disallow: /*index.php
Disallow: /*order
Disallow: /*section
Disallow: /*votesupdown
Disallow: /?q=admin
Disallow: /?q=admin/
Disallow: /?q=comment/reply
Disallow: /?q=contact
Disallow: /?q=filter/tips
Disallow: /?q=logout
Disallow: /?q=node/add
Disallow: /?q=search
Disallow: /?q=user/login
Disallow: /?q=user/logout
Disallow: /?q=user/password
Disallow: /?q=user/register
Disallow: /admin
Disallow: /admin/
Disallow: /archive/
Disallow: /book/export/html
Disallow: /CHANGELOG.txt
Disallow: /comment
Disallow: /comment/reply
Disallow: /comments/recent
Disallow: /contact
Disallow: /cron. php
Disallow: /filter/tips
Disallow: /forum
Disallow: /forum/active
Disallow: /forum/unanswered
Disallow: /includes
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /install.php
Disallow: /INSTALL.sqlite.txt
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /logout
Disallow: /logout/
Disallow: /MAINTAINERS.txt
Disallow: /messages
Disallow: /misc
Disallow: /modules
Disallow: /node
Disallow: /node/add
Disallow: /print/node
Disallow: /profile
Disallow: /profiles
Disallow: /scripts
Disallow: /search
Disallow: /taxonomy
Disallow: /taxonomy/term*/feed
Disallow: /themes
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /user
Disallow: /user/
Disallow: /user/login
Disallow: /user/logout
Disallow: /user/password
Disallow: /user/register
Disallow: /xmlrpc.php
Sitemap: http://site.ru/sitemap. xml
Host: site.ru


robots.txt для 1С-Битрикс

User-agent: *
Allow: /map/
Allow: /search/map.php
Allow: /bitrix/templates/
Disallow: */index.php
Disallow: /*action=
Disallow: /*print=
Disallow: /*/gallery/*order=
Disallow: /*/search/
Disallow: /*/slide_show/
Disallow: /*?utm_source=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*arrFilter=
Disallow: /*auth=
Disallow: /*back_url_admin=
Disallow: /*BACK_URL=
Disallow: /*back_url=
Disallow: /*backurl=
Disallow: /*bitrix_*=
Disallow: /*bitrix_include_areas=
Disallow: /*building_directory=
Disallow: /*bxajaxid=
Disallow: /*change_password=
Disallow: /*clear_cache_session=
Disallow: /*clear_cache=
Disallow: /*count=
Disallow: /*COURSE_ID=
Disallow: /*forgot_password=
Disallow: /*ID=
Disallow: /*index.php$
Disallow: /*login=
Disallow: /*logout=
Disallow: /*modern-repair/$
Disallow: /*MUL_MODE=
Disallow: /*ORDER_BY
Disallow: /*PAGE_NAME=
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGEN_
Disallow: /*print_course=
Disallow: /*print=
Disallow: /*q=
Disallow: /*register=
Disallow: /*register=yes
Disallow: /*set_filter=
Disallow: /*show_all=
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*SHOWALL_
Disallow: /*sort=
Disallow: /*sphrase_id=
Disallow: /*tags=
Disallow: /access. log
Disallow: /admin
Disallow: /api
Disallow: /auth
Disallow: /auth.php
Disallow: /auto
Disallow: /bitrix
Disallow: /bitrix/
Disallow: /cgi-bin
Disallow: /club/$
Disallow: /club/forum/search/
Disallow: /club/gallery/tags/
Disallow: /club/group/search/
Disallow: /club/log/
Disallow: /club/messages/
Disallow: /club/search/
Disallow: /communication/blog/search.php
Disallow: /communication/forum/search/
Disallow: /communication/forum/user/
Disallow: /content/board/my/
Disallow: /content/links/my/
Disallow: /error
Disallow: /e-store/affiliates/
Disallow: /e-store/paid/detail.php
Disallow: /examples/download/download_private/
Disallow: /examples/my-components/
Disallow: /include
Disallow: /personal
Disallow: /search
Disallow: /temp
Disallow: /tmp
Disallow: /upload
Disallow: /*/*ELEMENT_CODE=
Disallow: /*/*SECTION_CODE=
Disallow: /*/*IBLOCK_CODE
Disallow: /*/*ELEMENT_ID=
Disallow: /*/*SECTION_ID=
Disallow: /*/*IBLOCK_ID=
Disallow: /*/*CODE=
Disallow: /*/*ID=
Disallow: /*/*IBLOCK_EXTERNAL_ID=
Disallow: /*/*SECTION_CODE_PATH=
Disallow: /*/*EXTERNAL_ID=
Disallow: /*/*IBLOCK_TYPE_ID=
Disallow: /*/*SITE_DIR=
Disallow: /*/*SERVER_NAME=
Sitemap: http://site. ru/sitemap_index.xml
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

robots.txt для NetCat

User-agent: *
Disallow: /*.swf
Disallow: /*?
Disallow: /eng
Disallow: /install
Disallow: /js
Disallow: /links
Disallow: /netcat
Disallow: /netcat_cache
Disallow: /netcat_dump
Disallow: /netcat_files
Sitemap: http://site.ru/sitemap.xml
Host: site.ru


robots.txt для UMI.CMS

User-agent: *
Disallow: /*?
Disallow: /?
Disallow: /admin
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /files
Disallow: /go_out.php
Disallow: /images
Disallow: /images/lizing
Disallow: /images/ntc
Disallow: /index.php
Disallow: /install-libs
Disallow: /install-static
Disallow: /install-temp
Disallow: /search
Disallow: /users
Sitemap: http://site.ru/sitemap.xml
Host: site. ru


robots.txt для HostCMS

User-agent: *
Disallow: /403
Disallow: /404
Disallow: /admin
Disallow: /articles/tag
Disallow: /captcha.php
Disallow: /chmod.sh
Disallow: /config.php
Disallow: /config_db.php
Disallow: /data_templates
Disallow: /documents
Disallow: /download_file.php
Disallow: /glossary/tag
Disallow: /hostcmsfiles
Disallow: /lib
Disallow: /logs
Disallow: /main_classes.php
Disallow: /modules
Disallow: /news/tag
Disallow: /search
Disallow: /structure
Disallow: /templates
Disallow: /tmp
Disallow: /upload
Disallow: /xsl
Disallow: captcha.php
Disallow: download_file.php
Sitemap: http://site.ru/sitemap.xml
Host: site.ru


robots.txt для OpenCart

User-agent: *
Disallow: /*filter_description=
Disallow: /*filter_name=
Disallow: /*filter_sub_category=
Disallow: /*keyword
Disallow: /*limit=
Disallow: /*manufacturer
Disallow: /*order=
Disallow: /*page=
Disallow: /*route=account
Disallow: /*route=account/login
Disallow: /*route=affiliate
Disallow: /*route=checkout
Disallow: /*route=checkout/cart
Disallow: /*route=product/search
Disallow: /*sort=
Disallow: /*tracking=
Disallow: /admin
Disallow: /cache
Disallow: /cart
Disallow: /catalog
Disallow: /change-password
Disallow: /checkout
Disallow: /download
Disallow: /export
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=account/login
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/category
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /login
Disallow: /my-account
Disallow: /order-history
Disallow: /request-return
Disallow: /search
Disallow: /search?filter_name=
Disallow: /search?tag=
Disallow: /system
Disallow: /vouchers
Disallow: /vqmod
Disallow: /wishlist
Sitemap: http://site.ru/sitemap.xml
Host: site.ru


Проверка robots.txt

После вставки проверяем корректность работы файла:

Для Яндекс – без регистрации, через Яндекс.Вебмастер
Для Google – инструкция, с регистрацией через Google Вебмастер

В заключении о файле индексации

Если нет Вашей CMS пишите, для Вас составлю бесплатно этот файл и добавлю в список поста.

Так же я старался дать уникальные примеры файлов и редко делю директиву User-agent, как это некоторые любят, по следующим причинам:

  • нет смысла делить то, что понимают все поисковые системы, результат создает избыточный размер файла, в крайнем случае, неизвестную директиву проигнорируют
  • если мы делим на конкретные ПС, не указывая звездочку, то другие ПС не смогут корректно проиндексировать сайт
  • если мы делим на конкретные ПС с указанием звездочки, тогда нет смысла перечислять в двух местах одни и те же директивы, а для других ПС имеет смысл перечислять тоже самое

Подробное руководство по использованию - robots.txt для Яндекс

Для тех, кто долго не любит вникать, как правильно составить robots.txt, привожу сразу список наиболее популярных CMS, и какие чаще всего подойдут для них настройки.

Главное понимать, что эти файлы не гарантируют 100% правильную работу, так как могут не закрыть разделы которые у Вас должны быть закрыты или напротив закрыть то, что не должно быть закрыто. Эти примеры лучше всего использовать, для того чтобы составить самому правильный роботикс тхт для своего сайта и не упустить особенности используемого Вами движка.

Так же не забыть там, где стоит site.ru подставить свой сайт.

Если все слишком сложно, то пишите на почту, помогу настроить индексацию сайта.

Как разрешить искателям доступ только к index.php, используя robots.txt?



Если я хочу разрешить только искателям доступ к index.php, будет ли это работать?

User-agent: *
Disallow: /
Allow: /index.php
seo web-crawler robots.txt
Поделиться Источник todd     28 октября 2009 в 14:30

5 ответов


  • запретить доступ к index.php, но разрешить index.php?var=val

    Интересно, могу ли я запретить доступ к http://domain.tld/index.php и разрешить только http://domain.tld/index.php?var=val Возможно ли это с помощью rewritecond и rewriterule? Я не могу этого понять. Кто-нибудь поможет? Спасибо!

  • Robots.txt разрешить подпапку, но не родительскую

    Кто-нибудь может объяснить правильную команду robots.txt для следующего сценария. Я хотел бы разрешить доступ к: /directory/subdirectory/.. Но я также хотел бы ограничить доступ к /directory/ , не выдерживая вышеупомянутого исключения.



20

Да, это сработает. Вот результат теста с помощью инструмента Google Webmaster Tool .

Url
http://www.example.org/index.php

Googlebot
Allowed by line 3: Allow: /index.php

Googlebot-Mobile
Allowed by line 3: Allow: /index.php

Однако помните,что при такой конфигурации Домашняя страница вашего сайта не будет сканироваться, если к ней не будет получен полный путь. Другими словами, http://www.example.org/ запрещено, а http://www.example.org/index.php разрешено.

Если вы хотите, чтобы ваша домашняя страница была доступна, вот лучшая версия вашего файла.

User-agent: *
Disallow: /
Allow: /index.php
Allow: /$

Поделиться Simone Carletti     30 октября 2009 в 11:44



3

User-agent: *

Allow: /index.php
Disallow: /

Поделиться bulava     02 марта 2011 в 11:42



3

Попробуйте поменять местами порядок запрещать / разрешать:

User-agent: *
Allow: /index.php
Disallow: /

Смотрите эту информацию из Википедии:

«Тем не менее, чтобы быть совместимым со всеми роботами, если вы хотите разрешить отдельные файлы внутри запрещенного каталога, вам нужно сначала поместить директиву (ы) Allow, а затем запретить, например:»

http://en.wikipedia.org/wiki/Robots.txt

Тем не менее я бы не ожидал, что он будет работать слишком последовательно

Поделиться UpTheCreek     28 октября 2009 в 14:38


  • Ограничьте прямой доступ к файлам .php через браузер и разрешите доступ к ним только index.php

    У меня есть скрипт на моем сайте, позволяющий пользователям редактировать / создавать свою учетную запись. Я хочу ограничить прямой доступ к файлам через браузер (ex.www.mydomain.com/cp/page/login.php или www.mydomain.com/cp / home.php) и разрешить доступ к этим файлам только index.php. Я пробовал…

  • Mediawiki Sitemap URL ограничено robots.txt

    Я установил mediawiki на своем сайте следующим образом: www.mysite.com/w/index.php Я использовал короткий метод URL, чтобы изменить url на mysite.com/wiki После этого я поместил это в robots.txt, чтобы запретить ботам переходить по ссылкам на /w/ : # prevent spiders from indexing non-article pages…



2

Вы можете использовать инструмент Google Robots для оформления заказа. Я бы никогда не поместил никаких секретных каталогов в файл роботов, так как предположил бы, что строка, подобная приведенной ниже, будет медом для некоторых пауков.

Disallow: /secret

Поделиться Janco     28 октября 2009 в 14:36



1

User-agent: *
Allow: /$
Allow: /index.php
Allow: /sitemap.xml
Allow: /robots.txt
Disallow: /

Sitemap: http://www.your-site-name.com/sitemap.xml

Поделиться mRGogo     04 августа 2014 в 00:48


Похожие вопросы:


Robots.txt, как разрешить доступ только к корню домена, и не глубже?

Я хочу разрешить искателям доступ к корневому каталогу моего домена (то есть к файлу index./*$…


Блокировать доступ к robots.txt только на HTTP, в app.yaml

Мне нужно поднять 404 Not Found на robots.txt , а доступ с HTTP , на HTTPS robots.txt должен быть возвращен нормально. Я не смог найти способ ограничить доступ к https только в конфигурации app.yaml…


запретить доступ к index.php, но разрешить index.php?var=val

Интересно, могу ли я запретить доступ к http://domain.tld/index.php и разрешить только http://domain.tld/index.php?var=val Возможно ли это с помощью rewritecond и rewriterule? Я не могу этого…


Robots.txt разрешить подпапку, но не родительскую

Кто-нибудь может объяснить правильную команду robots.txt для следующего сценария. Я хотел бы разрешить доступ к: /directory/subdirectory/.. Но я также хотел бы ограничить доступ к /directory/ , не…


Ограничьте прямой доступ к файлам .php через браузер и разрешите доступ к ним только index.php

У меня есть скрипт на моем сайте, позволяющий пользователям редактировать / создавать свою учетную запись. Я хочу ограничить прямой доступ к файлам через браузер…


Mediawiki Sitemap URL ограничено robots.txt

Я установил mediawiki на своем сайте следующим образом: www.mysite.com/w/index.php Я использовал короткий метод URL, чтобы изменить url на mysite.com/wiki После этого я поместил это в robots.txt,…


robots.txt in codeigniter — разрешить просмотр/функцию

Я немного читал о robots.txt и читал, что мне следует запретить все папки в моем веб — приложении, но я хотел бы разрешить ботам читать главную страницу и один вид (url — это, например:…


Что означает /*.php$ в robots.txt?

Я наткнулся на сайт, который использует следующее в своем файле robots.txt: User-agent: * Disallow: /*.php$ Так что же он делает? Помешает ли это веб-искателям обходить следующие URLs?…


Используя Angular 2, как я могу разрешить просмотр robots.txt без запуска маршрутизации angular?

Я использую Angular 2 и только что добавил robots.txt в корень моей папки dist на производстве (для целей SEO) Но файл недоступен, так как url https://myrandomsite.com/robots.txt просто…

User-Agent: * # правила для всех роботов Disallow: /cgi-bin # папка на хостинге Disallow: /bitrix/ # папка с системными файлами битрикса Disallow: *bitrix_*= # GET-запросы битрикса Disallow: /local/ # папка с системными файлами битрикса Disallow: /*index.php$ # дубли страниц index.php Disallow: /auth/ # авторизация Disallow: *auth= # авторизация Disallow: /personal/ # личный кабинет Disallow: *register= # регистрация Disallow: *forgot_password= # забыли пароль Disallow: *change_password= # изменить пароль Disallow: *login= # логин Disallow: *logout= # выход Disallow: */search/ # поиск Disallow: *action= # действия Disallow: *print= # печать Disallow: *?new=Y # новая страница Disallow: *?edit= # редактирование Disallow: *?preview= # предпросмотр Disallow: *backurl= # трекбеки Disallow: *back_url= # трекбеки Disallow: *back_url_admin= # трекбеки Disallow: *captcha # каптча Disallow: */feed # все фиды Disallow: */rss # rss фид Disallow: *?FILTER*= # здесь и ниже различные популярные параметры фильтров Disallow: *?ei= Disallow: *?p= Disallow: *?q= Disallow: *?tags= Disallow: *B_ORDER= Disallow: *BRAND= Disallow: *CLEAR_CACHE= Disallow: *ELEMENT_ID= Disallow: *price_from= Disallow: *price_to= Disallow: *PROPERTY_TYPE= Disallow: *PROPERTY_WIDTH= Disallow: *PROPERTY_HEIGHT= Disallow: *PROPERTY_DIA= Disallow: *PROPERTY_OPENING_COUNT= Disallow: *PROPERTY_SELL_TYPE= Disallow: *PROPERTY_MAIN_TYPE= Disallow: *PROPERTY_PRICE[*]= Disallow: *S_LAST= Disallow: *SECTION_ID= Disallow: *SECTION[*]= Disallow: *SHOWALL= Disallow: *SHOW_ALL= Disallow: *SHOWBY= Disallow: *SORT= Disallow: *SPHRASE_ID= Disallow: *TYPE= Disallow: *openstat= # ссылки с метками openstat Disallow: *from= # ссылки с метками from Disallow: /doctorsarticles/ Disallow: /*?message* Disallow: */feedback/detail.php?ID= Disallow: /*?clear_cache Disallow: /diagnosis_and_prevention/trepanobiopsiya-molochnoy-zhelezy/ Allow: */upload/ # открываем папку с файлами uploads Allow: /bitrix/*.js # здесь и далее открываем для индексации скрипты Allow: /bitrix/*.css Allow: /local/*.js Allow: /local/*.css Allow: /local/*.jpg Allow: /local/*.jpeg Allow: /local/*.png Allow: /local/*.gif Allow: /doctorsarticles/*.php User-Agent: Yandex # правила для яндекса Disallow: /cgi-bin # папка на хостинге Disallow: /bitrix/ # папка с системными файлами битрикса Disallow: *bitrix_*= # GET-запросы битрикса Disallow: /local/ # папка с системными файлами битрикса Disallow: /*index.php$ # дубли страниц index.php Disallow: /auth/ # авторизация Disallow: *auth= # авторизация Disallow: /personal/ # личный кабинет Disallow: *register= # регистрация Disallow: *forgot_password= # забыли пароль Disallow: *change_password= # изменить пароль Disallow: *login= # логин Disallow: *logout= # выход Disallow: */search/ # поиск Disallow: *action= # действия Disallow: *print= # печать Disallow: *?new=Y # новая страница Disallow: *?edit= # редактирование Disallow: *?preview= # предпросмотр Disallow: *backurl= # трекбеки Disallow: *back_url= # трекбеки Disallow: *back_url_admin= # трекбеки Disallow: *captcha # каптча Disallow: */feed # все фиды Disallow: */rss # rss фид Disallow: *?FILTER*= # здесь и ниже различные популярные параметры фильтров Disallow: *?ei= Disallow: *?p= Disallow: *?q= Disallow: *?tags= Disallow: *B_ORDER= Disallow: *BRAND= Disallow: *CLEAR_CACHE= Disallow: *ELEMENT_ID= Disallow: *price_from= Disallow: *price_to= Disallow: *PROPERTY_TYPE= Disallow: *PROPERTY_WIDTH= Disallow: *PROPERTY_HEIGHT= Disallow: *PROPERTY_DIA= Disallow: *PROPERTY_OPENING_COUNT= Disallow: *PROPERTY_SELL_TYPE= Disallow: *PROPERTY_MAIN_TYPE= Disallow: *PROPERTY_PRICE[*]= Disallow: *S_LAST= Disallow: *SECTION_ID= Disallow: *SECTION[*]= Disallow: *SHOWALL= Disallow: *SHOW_ALL= Disallow: *SHOWBY= Disallow: *SORT= Disallow: *SPHRASE_ID= Disallow: *TYPE= Disallow: *openstat= # ссылки с метками openstat Disallow: *from= # ссылки с метками from Disallow: /doctorsarticles/ Disallow: /*?message* Disallow: */feedback/detail.php?ID= Disallow: /*?clear_cache Disallow: /diagnosis_and_prevention/trepanobiopsiya-molochnoy-zhelezy/ Allow: */upload/ # открываем папку с файлами uploads Allow: /bitrix/*.js # здесь и далее открываем для индексации скрипты Allow: /bitrix/*.css Allow: /local/*.js Allow: /local/*.css Allow: /local/*.jpg Allow: /local/*.jpeg Allow: /local/*.png Allow: /local/*.gif Allow: /doctorsarticles/*.php User-Agent: GoogleBot # правила для Google Disallow: /cgi-bin # папка на хостинге Disallow: /bitrix/ # папка с системными файлами битрикса Disallow: *bitrix_*= # GET-запросы битрикса Disallow: /local/ # папка с системными файлами битрикса Disallow: /*index.php$ # дубли страниц index.php Disallow: /auth/ # авторизация Disallow: *auth= # авторизация Disallow: /personal/ # личный кабинет Disallow: *register= # регистрация Disallow: *forgot_password= # забыли пароль Disallow: *change_password= # изменить пароль Disallow: *login= # логин Disallow: *logout= # выход Disallow: */search/ # поиск Disallow: *action= # действия Disallow: *print= # печать Disallow: *?new=Y # новая страница Disallow: *?edit= # редактирование Disallow: *?preview= # предпросмотр Disallow: *backurl= # трекбеки Disallow: *back_url= # трекбеки Disallow: *back_url_admin= # трекбеки Disallow: *captcha # каптча Disallow: */feed # все фиды Disallow: */rss # rss фид Disallow: *?FILTER*= # здесь и ниже различные популярные параметры фильтров Disallow: *?ei= Disallow: *?p= Disallow: *?q= Disallow: *?tags= Disallow: *B_ORDER= Disallow: *BRAND= Disallow: *CLEAR_CACHE= Disallow: *ELEMENT_ID= Disallow: *price_from= Disallow: *price_to= Disallow: *PROPERTY_TYPE= Disallow: *PROPERTY_WIDTH= Disallow: *PROPERTY_HEIGHT= Disallow: *PROPERTY_DIA= Disallow: *PROPERTY_OPENING_COUNT= Disallow: *PROPERTY_SELL_TYPE= Disallow: *PROPERTY_MAIN_TYPE= Disallow: *PROPERTY_PRICE[*]= Disallow: *S_LAST= Disallow: *SECTION_ID= Disallow: *SECTION[*]= Disallow: *SHOWALL= Disallow: *SHOW_ALL= Disallow: *SHOWBY= Disallow: *SORT= Disallow: *SPHRASE_ID= Disallow: *TYPE= Disallow: *openstat= # ссылки с метками openstat Disallow: *from= # ссылки с метками from Disallow: /doctorsarticles/ Disallow: /*?message* Disallow: */feedback/detail.php?ID= Disallow: /*?clear_cache Disallow: /diagnosis_and_prevention/trepanobiopsiya-molochnoy-zhelezy/ Allow: */upload/ # открываем папку с файлами uploads Allow: /bitrix/*.js # здесь и далее открываем для индексации скрипты Allow: /bitrix/*.css Allow: /local/*.js Allow: /local/*.css Allow: /local/*.jpg Allow: /local/*.jpeg Allow: /local/*.png Allow: /local/*.gif Allow: /doctorsarticles/*.php Sitemap: https://medic-group.ru/sitemap.xml User-Agent: * Sitemap: https://medic-group.ru/sitemap.xml

 # Если основной домен, то разрешена стандартная индексация для Яндекс User-agent: Yandex Disallow: /*_openstat Disallow: /*from=adwords Disallow: /partners/ Disallow: /unicum.css$ Disallow: /download/ Disallow: /catalog/ Disallow: /catalog_item.php?id=23&lng_current=rus Disallow: /company/contacts/ Disallow: /index.php?name=document_cashbox&lng_current=rus Disallow: /index.php?name=document_minibox&lng_current=rus Disallow: /news/ Disallow: /u-pay/operators.html Disallow: /ua/ Disallow: /business/terminal/payterminal/ Disallow: /catalogue/ Disallow: /company/ Disallow: /eng/catalog/gaming/otherslots/document173.shtml Disallow: /english/index.php Disallow: /index$ Disallow: /index.php?name=document_bookbox&lng_current=rus Disallow: /index.php?name=document_stylebox&lng_current=rus Disallow: /index/$ Disallow: /playboyslots$ Disallow: /slotrevolution$ Disallow: /business/dealers/document239.shtml Disallow: /catalogue/44/203/ Disallow: /forum Disallow: /news/archive/22.html Disallow: /service/$ Disallow: /calculate/APP2/ Disallow: /calculate/APP3/ Disallow: /catalog_item.php?id=16&lng_current=rus Disallow: /catalog_item.php?id=18&image_index=1&lng_current=rus Disallow: /catalog_item.php?id=18&image_index=3&lng_current=rus Disallow: /catalog_item.php?id=18&image_index=4&lng_current=rus Disallow: /catalog_item.php?id=18&image_index=5&lng_current=rus Disallow: /catalog_item.php?id=18&image_index=6&lng_current=rus Disallow: /catalog_item.php?id=18&lng_current=rus Disallow: /catalog_item.php?id=19&lng_current=rus Disallow: /clients/?&prn=1 Disallow: /eng/catalog/gaming/unicumslots/onyx/document192.shtml Disallow: /english/ Disallow: /info.php Disallow: /service/613/ Disallow: /sip-order.php Disallow: /slotrevolution/ Disallow: /mail.unicum.ru:8880/home.html$ Disallow: /online.unicum.ru/$ Disallow: /lonex.msk.unicum.ru/$ Disallow: /owa.msk.unicum.ru/$ Disallow: *.swf Disallow: *.pdf Disallow: /search/ Disallow: *?name Disallow: *?lng_current Disallow: /index.php?cid=8 Disallow: /index.php?id=4371&page=0&sku=Asport Disallow: /js/ Disallow: /vending/tabletop/nerofm Disallow: /privacy-policy Sitemap: http://www.unicum.ru/sitemap/unicum/sitemap.xml Host: www.unicum.ru # Если основной домен, то разрешена стандартная индексация для Google User-agent: Googlebot Disallow: /*_openstat Disallow: /*from=adwords Disallow: /partners/ Disallow: /unicum.css Disallow: *?name Disallow: *?lng_current Disallow: /index.php?cid=8 Disallow: /index.php?id=4371&page=0&sku=Asport Disallow: /vending/tabletop/nerofm User-agent: * Disallow: /*_openstat Disallow: /*from=adwords Disallow: /partners/ Disallow: /unicum.css$ Disallow: /download/ Disallow: /catalog/ Disallow: /catalog_item.php?id=23&lng_current=rus Disallow: /company/contacts/ Disallow: /index.php?name=document_cashbox&lng_current=rus Disallow: /index.php?name=document_minibox&lng_current=rus Disallow: /news/ Disallow: /u-pay/operators.html Disallow: /ua/ Disallow: /business/terminal/payterminal/ Disallow: /catalogue/ Disallow: /company/ Disallow: /eng/catalog/gaming/otherslots/document173.shtml Disallow: /english/index.php Disallow: /index$ Disallow: /index.php?name=document_bookbox&lng_current=rus Disallow: /index.php?name=document_stylebox&lng_current=rus Disallow: /index/$ Disallow: /playboyslots$ Disallow: /slotrevolution$ Disallow: /business/dealers/document239.shtml Disallow: /catalogue/44/203/ Disallow: /forum Disallow: /news/archive/22.html Disallow: /service/$ Disallow: /calculate/APP2/ Disallow: /calculate/APP3/ Disallow: /catalog_item.php?id=16&lng_current=rus Disallow: /catalog_item.php?id=18&image_index=1&lng_current=rus Disallow: /catalog_item.php?id=18&image_index=3&lng_current=rus Disallow: /catalog_item.php?id=18&image_index=4&lng_current=rus Disallow: /catalog_item.php?id=18&image_index=5&lng_current=rus Disallow: /catalog_item.php?id=18&image_index=6&lng_current=rus Disallow: /catalog_item.php?id=18&lng_current=rus Disallow: /catalog_item.php?id=19&lng_current=rus Disallow: /clients/?&prn=1 Disallow: /eng/catalog/gaming/unicumslots/onyx/document192.shtml Disallow: /english/ Disallow: /info.php Disallow: /service/613/ Disallow: /sip-order.php Disallow: /slotrevolution/ Disallow: /mail.unicum.ru:8880/home.html$ Disallow: /online.unicum.ru/$ Disallow: /lonex.msk.unicum.ru/$ Disallow: /owa.msk.unicum.ru/$ Disallow: *.swf Disallow: *.pdf Disallow: /search/ Disallow: *?name Disallow: *?lng_current Disallow: /index.php?cid=8 Disallow: /index.php?id=4371&page=0&sku=Asport Disallow: /vending/tabletop/nerofm Disallow: /privacy-policy # Здесь была ссылка на сайтмэп

# # robots.txt # # Этот файл предназначен для предотвращения сканирования и индексации определенных частей # вашего сайта поисковыми роботами и пауками, управляемыми такими сайтами, как Yahoo! # и Google. Сообщая этим «роботам», куда нельзя заходить на вашем сайте, # вы экономите трафик и ресурсы сервера. # # Этот файл будет проигнорирован, если он не находится в корне вашего хоста: # Используется: http://example.com/robots.txt # Игнорируется: http://example.com/site/robots.txt # # Дополнительную информацию о стандарте robots.txt см. В следующих статьях: # http: // www.robotstxt.org/robotstxt.html Пользовательский агент: * # CSS, JS, изображения Разрешить: /core/*.css$ Разрешить: /core/*.css? Разрешить: /core/*.js$ Разрешить: /core/*.js? Разрешить: /core/*.gif Разрешить: /core/*.jpg Разрешить: /core/*.jpeg Разрешить: /core/*.png Разрешить: /core/*.svg Разрешить: /profiles/*.css$ Разрешить: /profiles/*.css? Разрешить: /profiles/*.js$ Разрешить: /profiles/*.js? Разрешить: /profiles/*.gif Разрешить: /profiles/*.jpg Разрешить: /profiles/*.jpeg Разрешить: /profiles/*.png Разрешить: /profiles/*.svg # Каталоги Запретить: / core / Запретить: / profiles / Запретить: / sites / default / files / aao_documents / * Запретить: / sites / default / files / fda_documents / * Запретить: / сайты / по умолчанию / файлы / без индекса / * Запретить: / media / * Запретить: / taxonomy / * Запретить: / узел / * # Файлов Запретить: / README.текст Запретить: /web.config Запретить: /sites/default/files/2019_AC_AML_Challenges.pdf Запретить: /sites/default/files/2019_AC_Blockchain_ICOs_Cryptocurrencies.pdf Запретить: /sites/default/files/2019_AC_Books_and_Records.pdf Запретить: /sites/default/files/2019_AC_Branch_Cybersecurity_Controls.pdf Запретить: /sites/default/files/2019_AC_Branch_Office_Inspections.pdf Запретить: /sites/default/files/2019_AC_Breakfast_Member_Supervision_Staff.pdf Запретить: /sites/default/files/2019_AC_Business_Continuity.pdf Запретить: / sites / default / files / 2019_AC_CCOs_Role_in_Cybersecurity.pdf Запретить: /sites/default/files/2019_AC_Clearing_and_Operational_Issues.pdf Запретить: /sites/default/files/2019_AC_Common_Examination_Findings_Institutional.pdf Запретить: /sites/default/files/2019_AC_Common_Examination_Findings_Med_Large.pdf Запретить: /sites/default/files/2019_AC_Common_Examination_Findings_Small.pdf Запретить: /sites/default/files/2019_AC_Communications_With_Public.pdf Запретить: /sites/default/files/2019_AC_Complex_Products.pdf Запретить: / sites / default / files / 2019_AC_Conflicts_Interest.pdf Запретить: /sites/default/files/2019_AC_Conflicts_Interest_Investment_Banking.pdf Запретить: /sites/default/files/2019_AC_CRCP_Lunch.pdf Запретить: /sites/default/files/2019_AC_Cyber_Guidance_Small_Firms.pdf Запретить: /sites/default/files/2019_AC_Cybersecurity_Response_Plans.pdf Запретить: /sites/default/files/2019_AC_Digital_Assets_Initial_Coin_Offerings.pdf Запретить: /sites/default/files/2019_AC_Digital_Transformation.pdf Запретить: /sites/default/files/2019_AC_Diversity_Inclusion_Luncheon.pdf Запретить: / sites / default / files / 2019_AC_Effective_Documentation_0.pdf Запретить: /sites/default/files/2019_AC_Fraud_Detection.pdf Запретить: /sites/default/files/2019_AC_Effective_Supervision_Med_Large.pdf Запретить: /sites/default/files/2019_AC_Enforcement.pdf Запретить: /sites/default/files/2019_AC_Ethical_Culture.pdf Запретить: /sites/default/files/2019_AC_Financial_Operational_Practices.pdf Запретить: /sites/default/files/2019_AC_FINRA_Rule_2210.pdf Запретить: /sites/default/files/2019_AC_FinTech_Wealth_Management.pdf Запретить: / sites / default / files / 2019_AC_FinTech_Trends.pdf Запретить: /sites/default/files/2019_AC_Fixed_Income.pdf Запретить: /sites/default/files/2019_AC_Fraud_Misapppriation.pdf Запретить: /sites/default/files/2019_AC_High-Risk_Activity.pdf Запретить: /sites/default/files/2019_AC_How_FINRA_Rules_Get_Made.pdf Запретить: /sites/default/files/2019_AC_AML_Risks.pdf Запретить: /sites/default/files/2019_AC_Managing_Cybersecurity_Risks_0.pdf Запретить: /sites/default/files/2019_AC_Margin_Requirements.pdf Запретить: / sites / default / files / 2019_AC_Detecting_Preventing_Misconduct.pdf Запретить: /sites/default/files/2019_AC_Mark-Up_Disclosure_Requirements.pdf Запретить: /sites/default/files/2019_AC_Membership_Application_Program.pdf Запретить: /sites/default/files/2019_AC_Mergers_Acquisitions.pdf Запретить: /sites/default/files/2019_AC_Multigenerational_Clients_Staff.pdf Запретить: /sites/default/files/2019_AC_Municipal_Securities.pdf Запретить: /sites/default/files/2019_AC_Navigate_Arbitration_Sm_Firms.pdf Запретить: /sites/default/files/2019_AC_OBAs_PSTs.pdf Запретить: / sites / default / files / 2019_AC_Orientation.pdf Запретить: /sites/default/files/2019_AC_Changes_to_CE_Program.pdf Запретить: /sites/default/files/2019_AC_Registration_Requirements.pdf Запретить: /sites/default/files/2019_AC_Regulatory_Changes.pdf Запретить: /sites/default/files/2019_AC_Regulatory_Exams.pdf Запретить: /sites/default/files/2019_AC_Social_Media.pdf Запретить: /sites/default/files/2019_AC_Suitability_Rule.pdf Запретить: /sites/default/files/2019_AC_Suitability_What_You_Need_to_Know.pdf Запретить: / sites / default / files / 2019_AC_Supervising_Variable_Annuities_Business.pdf Запретить: /sites/default/files/2019_AC_Suspicious_Activity_Monitoring.pdf Запретить: /sites/default/files/2019_AC_Three_Lines_Defense.pdf Запретить: /sites/default/files/2019_AC_Third-Party_Vendors.pdf Запретить: /sites/default/files/2018_CC_CCO_Role.pdf Запретить: /sites/default/files/2018_CC_Cyber_Incident_Response.pdf Запретить: /sites/default/files/2018_CC_Guidance_Small_Firms.pdf Запретить: /sites/default/files/2018_CC_Effective_Practices.pdf Запретить: / sites / default / files / 2018_CC_Keynote_Address.pdf Запретить: /sites/default/files/2019_AC_Welcome_Remarks.pdf Запретить: /sites/default/files/2019_AC_Fireside_Chat.pdf Запретить: /sites/default/files/2019_AC_Compliance_Legal_Trends.pdf Запретить: /sites/default/files/2019_AC_Keynote_Chris_Gardner.pdf Запретить: /sites/default/files/2018_CC_Branch_Controls.pdf Запретить: /sites/default/files/2018_CC_Insight_from_Experts.pdf Запретить: /sites/default/files/2019_AC_Ask_FINRA_Senior_Staff.pdf Запретить: /sites/default/files/2018_CC_Cyber_Attacks.pdf Запретить: / sites / default / files / 2018_CC_Steps_if_Breached.pdf Запретить: / промышленность / видео-вымогателя-сценария реального мира Запретить: /sites/default/files/2018_CC_Welcome.pdf Disallow: / мероприятия-обучение / конференции-мероприятия / get-set-state-Exactiner-Training-2021 Disallow: / мероприятия-обучение / конференции-мероприятия / Get-Set-State-Exxiner-Training-2021 / повестка дня Запретить: /sites/default/files/2021-01/2021_GetSET_On-line_Brochure.pdf Запретить: / арбитраж-посредничество / арбитраж-решения-онлайн Запретить: / правила-руководство / надзор-принудительное применение / finra-disiplinary-actions # Пути (чистые URL) Запретить: / admin / Запретить: / комментарий / ответ / Запретить: / фильтр / советы Запретить: / узел / добавить / Запретить: / поиск / Запретить: / пользователь / регистрация / Запретить: / пользователь / пароль / Запретить: / пользователь / логин / Запретить: / пользователь / выход из системы / # Пути (без чистых URL) Запретить: / index.php / admin / Запретить: /index.php/comment/reply/ Запретить: /index.php/filter/tips Запретить: /index.php/node/add/ Запретить: /index.php/search/ Запретить: /index.php/user/password/ Запретить: /index.php/user/register/ Запретить: /index.php/user/login/ Запретить: /index.php/user/logout/ Запретить: /index.php/*

Как Google интерпретирует спецификацию robots.txt | Центр поиска

Автоматизированный краулеры поддерживают Протокол исключения роботов (REP).Это означает, что перед сканированием сайта сканеры Google загружают и анализируют Файл robots.txt для извлечения информации о том, какие части сайта можно сканировать. REP неприменимо к сканерам Google, которые контролируются пользователями (например, фид подписок) или поисковые роботы, которые используются для повышения безопасности пользователей (например, вредоносное ПО анализ).

На этой странице описывается интерпретация REP в Google. Для оригинала проект стандарта, проверьте IETF Data Tracker.Если вы новичок в robots.txt, начните с нашего введение в robots.txt. Вы также можете найти советы по созданию файла robots.txt и обширный список часто задаваемые вопросы и ответы на них.

Что такое файл robots.txt

Если вы не хотите, чтобы сканеры получали доступ к разделам вашего сайта, вы можете создать файл robots.txt. с соответствующими правилами. Файл robots.txt — это простой текстовый файл, содержащий правила, в отношении которых сканеры могут получить доступ к каким частям сайта.

Местоположение файла и срок действия

Вы должны поместить файл robots.txt в каталог верхнего уровня сайта на поддерживаемом протокол. В случае поиска Google поддерживаемые протоколы: HTTP, HTTPS и FTP. По HTTP и HTTPS сканеры получают файл robots.txt с помощью HTTP безусловный запрос GET ; на FTP сканеры используют стандартный RETR (RETRIEVE) команда с использованием анонимного входа в систему.

Правила, указанные в файле robots.txt применяется только к хосту, протоколу и номеру порта где размещен файл robots.txt.

URL-адрес файла robots.txt (как и другие URL-адреса) чувствителен к регистру.

Примеры действительных URL-адресов robots.txt

Robots.txt Примеры URL
http://example.com/robots.txt Действителен до:
  • http://example.com/
  • http: // example.com / папка / файл
Не действует для:
  • http://other.example.com/
  • https://example.com/
  • http://example.com:8181/
Это общий случай. Это не действует для других поддоменов, протоколов или портов. числа. Это справедливо для всех файлов во всех подкаталогах на одном хосте, протоколе, и номер порта.
http://www.example.com/robots.txt

Действителен до: http://www.example.com/

Недействительно для:

  • http://example.com/
  • http://shop.www.example.com/
  • http://www.shop.example.com/
Роботы.txt на субдомене действителен только для этого субдомена.
http://example.com/folder/robots.txt Недействительный файл robots.txt. Сканеры не проверяют файлы robots.txt в подкаталогах.
http://www.exämple.com/robots.txt Действителен до:
  • http://www.exämple.com/
  • http: // xn - exmple-cua.com /

Не действует для: http://www.example.com/

IDN эквивалентны своим версиям punycode. Смотрите также RFC 3492.
ftp://example.com/robots.txt

Действителен до: ftp://example.com/

Не действует для: http: // example.com /

http://212.96.82.21/robots.txt

Действителен до: http://212.96.82.21/

Не действует для: http://example.com/ (даже если размещено на 212.96.82.21)

Файл robots.txt с IP-адресом в качестве имени хоста действителен только для сканирования этого IP-адрес в качестве имени хоста.Это не распространяется автоматически на все веб-сайты, размещенные на этом IP-адрес (хотя возможно, что файл robots.txt является общим, и в этом случае он также будет доступен под общим именем хоста).
http://example.com:80/robots.txt

Действительно для:

  • http://example.com:80/
  • http://example.com/

Не действует для: http: // example.com: 81/

Стандартные номера портов ( 80 для HTTP, 443 для HTTPS, 21 для FTP) эквивалентны своим именам хостов по умолчанию.
http://example.com:8181/robots.txt

Действителен до: http://example.com:8181/

Не действует для: http: // example.com /

Файлы robots.txt с нестандартными номерами портов действительны только для контента, созданного доступны через эти номера портов.

Обработка ошибок и кодов состояния HTTP

При запросе файла robots.txt код статуса HTTP ответа сервера влияет на то, как файл robots.txt будет использоваться поисковыми роботами Google.

Обработка ошибок и кодов состояния HTTP
2xx (успешно) Коды состояния HTTP, которые сигнализируют об успехе, побуждают сканеры Google обрабатывать файл robots.текст файл, предоставленный сервером.
3xx (перенаправление)

Google выполняет не менее пяти переходов переадресации, как определено RFC 1945, а затем останавливается и обрабатывает его как 404 для robots.txt. Это также относится к любому запрещенные URL-адреса в цепочке переадресации, так как сканер не мог получить правила из-за перенаправления.

Google не выполняет логические перенаправления в файлах robots.txt (фреймы, JavaScript или переадресация типа мета-обновления).

4xx (ошибки клиента)

Сканеры Google обрабатывают все ошибки 4xx как действительный файл robots.txt. не существовало, что означает сканирование без ограничений.

Сюда входят 401 (неавторизованный) и 403 (запрещенный) HTTP коды состояния.
5xx (ошибка сервера)

Поскольку сервер не смог дать однозначного ответа на запрос Google robots.txt, Google временно интерпретирует ошибки сервера, как если бы сайт был полностью запрещен. Google будет пытаться сканировать файл robots.txt до тех пор, пока не получит HTTP-статус, не связанный с ошибкой сервера. код. Ошибка 503 (служба недоступна) приводит к довольно частым повторная попытка.Если файл robots.txt недоступен более 30 дней, Google будет использовать последняя кешированная копия файла robots.txt. Если недоступен, Google предполагает, что нет ограничения сканирования.

Если вам нужно временно приостановить сканирование, мы рекомендуем 503 Код состояния HTTP для каждого URL-адреса на сайте.

Если мы можем определить, что сайт неправильно настроен для возврата 5xx вместо кода статуса 404 для пропущенных страниц лечим ошибка 5xx с этого сайта как 404 .Например, если сообщение об ошибке на странице, которая возвращает код состояния 5xx : «Страница не найдено «, мы интерпретируем код сатуса как 404 (не найдено) .

Прочие ошибки Файл robots.txt, который невозможно получить из-за проблем с DNS или сетью, например таймауты, недопустимые ответы, сброс или прерванные соединения и ошибки фрагментации HTTP, рассматривается как ошибка сервера.

Кэширование

Google обычно кэширует содержимое файла robots.txt на срок до 24 часов, но может кэшировать его. дольше в ситуациях, когда обновление кэшированной версии невозможно (например, из-за таймауты или ошибки 5xx ). Кешированный ответ может использоваться разными сканерами. Google может увеличивать или уменьшать время жизни кеша в зависимости от max-age Cache-Control Заголовки HTTP.

Формат файла

Роботы.txt должен быть Простой текст в кодировке UTF-8 файл и строки должны быть разделены символами CR , CR / LF или LF .

Google игнорирует недопустимые строки в файлах robots.txt, включая Unicode. Знак порядка байтов (BOM) в начале файла robots.txt и используйте только допустимые строки. Например, если загруженный контент представляет собой HTML, а не правила robots.txt, Google попытается проанализировать контент и извлекать правила, а все остальное игнорировать.

Точно так же, если кодировка файла robots.txt отличается от UTF-8, Google может игнорировать символы, не входящие в диапазон UTF-8, потенциально могут отображать правила robots.txt инвалид.

В настоящее время Google применяет ограничение на размер файла robots.txt, равное 500. кибибайт (KiB). Содержание после того, как максимальный размер файла игнорируется. Вы можете уменьшить размер файла robots.txt файл, объединив директивы, которые могут привести к слишком большому размеру файла robots.txt файл. Для Например, поместите исключенный материал в отдельный каталог.

Синтаксис

Допустимые строки robots.txt состоят из поля, двоеточия и значения. Пробелы необязательны, но рекомендуется для улучшения читаемости. Пробел в начале и в конце строки равен игнорируется. Чтобы включить комментарии, поставьте перед комментарием символ # . Держать в Имейте в виду, что все, что находится после символа # , будет проигнорировано.Общий формат <поле>: <значение> <# необязательный-комментарий> .

Google поддерживает следующие поля:

  • агент пользователя : определяет, к какому искателю применяются правила.
  • разрешить : путь URL-адреса, который можно сканировать.
  • запретить : путь URL, сканирование которого невозможно.
  • карта сайта : полный URL карты сайта.

Поля allow и disallow также называются директивами . Эти директивы всегда указываются в виде Директива : [путь] , где [путь] является необязательным. По умолчанию нет ограничения на сканирование для указанных сканеров. Сканеры игнорируют директивы без [путь] .

Значение [путь] , если указано, относится к корню веб-сайта, откуда роботы.txt был получен (с использованием того же протокола, номера порта, имени хоста и домена). Значение пути должно начинаться с / для обозначения корня, а значение — с учетом регистра. Узнать больше о Соответствие URL-адресов на основе значений пути.

агент пользователя

Строка пользовательского агента определяет, к каким правилам искателя применяются. Видеть Сканеры Google и строки пользовательского агента для получения исчерпывающего списка строк пользовательского агента, которые вы можете использовать в своих файлах robots.txt файл.

Значение строки пользовательского агента нечувствительно к регистру.

запретить

Директива disallow указывает пути, к которым не должны обращаться сканеры. идентифицированная строкой user-agent, с которой сгруппирована директива disallow . Сканеры игнорируют директиву без пути.

Google не может индексировать содержание страниц, сканирование которых запрещено, но все же может проиндексировать URL-адрес и показать его в результатах поиска без фрагмента.Узнайте, как блочная индексация.

Значение директивы disallow чувствительно к регистру.

использование:

запретить: [путь]
 

разрешить

Директива allow определяет пути, к которым могут получить доступ указанные краулеры. Если путь не указан, директива игнорируется.

Значение директивы allow чувствительно к регистру.

использование:

разрешить: [путь]
 

карта сайта

Google, Bing и другие основные поисковые системы поддерживают поле карты сайта в robots.txt, как определено sitemaps.org.

Значение поля карты сайта чувствительно к регистру.

использование:

карта сайта: [absoluteURL] 

Строка [absoluteURL] указывает на расположение файла карты сайта или файла индекса карты сайта.Это должен быть полный URL-адрес, включая протокол и хост, и не обязательно В кодировке URL. URL-адрес не обязательно должен находиться на том же хосте, что и файл robots.txt. Ты можешь укажите несколько полей карты сайта . Поле карты сайта не привязано к какому-либо конкретному пользовательский агент, и за ним могут следить все сканеры, если он не запрещен для сканирования.

Например:

пользовательский агент: otherbot
запретить: / капуста

карта сайта: https://example.com/sitemap.xml
карта сайта: https://cdn.example.org/other-sitemap.xml
карта сайта: https://ja.example.org/ テ ス ト - サ イ ト マ ッ プ .xml 

Группировка строк и правила

Вы можете сгруппировать правила, которые применяются к нескольким пользовательским агентам, повторяя пользовательского агента строк для каждого поискового робота.

Например:

пользовательский агент: a
запретить: / c

пользовательский агент: b
запретить: / d

пользовательский агент: e
пользовательский агент: f
запретить: / г

пользовательский агент: h
 

В этом примере есть четыре отдельные группы правил:

  • Одна группа для пользовательского агента «а».
  • Одна группа для пользовательского агента «b».
  • Одна группа для пользовательских агентов «e» и «f».
  • Одна группа для пользовательского агента «h».

Техническое описание группы см. раздел 2.1 РЭП.

Порядок приоритета для пользовательских агентов

Для конкретного поискового робота действительна только одна группа. Сканеры Google определяют правильный группу правил, найдя в файле robots.txt группу с наиболее конкретным пользовательским агентом который соответствует пользовательскому агенту поискового робота.Остальные группы игнорируются. Весь несоответствующий текст игнорируются (например, googlebot / 1.2 и googlebot * являются эквивалент googlebot ). Порядок групп в файле robots.txt: не имеющий отношения.

Если для определенного пользовательского агента объявлено несколько групп, все правила из группы, применимые к конкретному пользовательскому агенту, внутренне объединяются в одну группу.

Примеры

Сопоставление
пользовательского агента полей
пользовательский агент: googlebot-news
(группа 1)

пользовательский агент: *
(группа 2)

пользовательский агент: googlebot
(группа 3)
 

Вот как поисковые роботы выбирают соответствующую группу:

Группа отслеживаемых на гусеничном ходу
Googlebot News googlebot-news следует за группой 1, потому что группа 1 является наиболее специфической группой.
Googlebot (Интернет) googlebot следует за группой 3.
Googlebot Изображения googlebot-images следует за группой 2, потому что нет конкретных googlebot-images группа.
Googlebot News (при сканировании изображений) При сканировании изображений за группой 1 следует googlebot-news . googlebot-news не сканирует изображения для Картинок Google, поэтому только следует за группой 1.
Другой бот (Интернет) Другие сканеры Google следуют за группой 2.
Otherbot (новости) Другие сканеры Google, которые сканируют новостной контент, но не идентифицируют себя как googlebot-news подпишитесь на группу 2. Даже если есть запись для связанной поисковый робот, он действителен только в том случае, если он специально соответствует.
Группировка правил

Если в файле robots.txt есть несколько групп, относящихся к определенному пользовательскому агенту, Сканеры Google внутренне объединяют группы. Например:

пользовательский агент: googlebot-news
запретить: / рыба

пользовательский агент: *
запретить: / морковь

пользовательский агент: googlebot-news
запретить: / креветка
 

Сканеры внутренне группируют правила на основе пользовательского агента, например:

пользовательский агент: googlebot-news
запретить: / рыба
запретить: / креветка

пользовательский агент: *
запретить: / морковь
 

Соответствие URL-адресов на основе значений пути

Google использует значение пути в директивах allow и disallow как основа для определения того, применяется ли правило к определенному URL-адресу на сайте.Это работает сравнение правила с компонентом пути URL-адреса, который поисковый робот пытается получить. Не 7-битные символы ASCII в пути могут быть включены как символы UTF-8 или как экранированные с помощью процентов Символов в кодировке UTF-8 на RFC 3986.

Google, Bing и другие основные поисковые системы поддерживают ограниченную форму подстановочных знаков для значения пути. Эти:

  • * обозначает 0 или более экземпляров любого допустимого символа.
  • $ обозначает конец URL-адреса.
Пример совпадения пути
/ Соответствует корневому URL-адресу и любому URL-адресу нижнего уровня.
/ * Эквивалент /. Завершающий подстановочный знак игнорируется.
/ рыба

Соответствует любому пути, который начинается с / fish .

Матчей:

  • / рыба
  • /fish.html
  • /fish/salmon.html
  • / рыбья голова
  • /fishheads/yummy.html
  • /fish.php?id=anything

Не соответствует:

  • /Fish.asp
  • / сом
  • /? Id = рыба
  • / пустыня / рыба
Примечание. При сопоставлении учитывается регистр.
/ рыба *

Эквивалент / рыба . Завершающий подстановочный знак игнорируется.

Матчей:

  • / рыба
  • /fish.html
  • /fish/salmon.html
  • / рыбья голова
  • / рыбные головы / вкуснятина.HTML
  • /fish.php?id=anything

Не соответствует:

  • /Fish.asp
  • / сом
  • /? Id = рыба
/ рыба /

Соответствует чему-либо в папке / fish / .

Матчей:

  • / рыба /
  • / животные / рыба /
  • / fish /? Id = что-нибудь
  • / рыба / лосось.htm

Не соответствует:

  • / рыба
  • /fish.html
  • /Fish/Salmon.asp
/*.php

Соответствует любому пути, который содержит .php .

Матчей:

  • / индекс.php
  • /filename.php
  • /folder/filename.php
  • /folder/filename.php?parameters
  • /folder/any.php.file.html
  • /filename.php/

Не соответствует:

  • / (даже если он отображается в /index.php)
  • / окна.
  • PHP
/*.php $

Соответствует любому пути, который заканчивается на .php .

Матчей:

  • /filename.php
  • /folder/filename.php

Не соответствует:

  • /filename.php?parameters
  • / имя файла.php /
  • /filename.php5
  • / windows.PHP
/fish*.php

Соответствует любому пути, который содержит / fish и .php в указанном порядке.

Матчей:

  • /fish.php
  • / рыбные головы / сом.php? параметры

Не совпадает: /Fish.PHP

Порядок приоритетности правил

При сопоставлении правил robots.txt с URL-адресами сканеры используют наиболее конкретное правило на основе длина его пути. В случае противоречивых правил, в том числе с использованием подстановочных знаков, Google использует наименее ограничительное правило.

Следующие примеры демонстрируют, какое правило поисковые роботы Google будут применять к заданному URL-адресу.

Примеры ситуаций
http://example.com/page
 разрешить: / p
запретить: / 

Применимое правило : allow: / p , потому что оно более конкретное.

http://example.com/folder/page
 разрешить: / папка
запретить: / папка 

Применимое правило : allow: / folder , потому что в случае правила соответствия, Google использует наименее ограничительное правило.

http://example.com/page.htm
 разрешить: / страница
запретить: /*.htm 

Применимое правило : disallow: /*.htm , потому что оно соответствует больше символов в URL-адресе, чтобы он был более конкретным.

http://example.com/page.php5
 разрешить: / страница
запретить: / *.ph 

Применимое правило : allow: / page , потому что в случае правила соответствия, Google использует наименее ограничительное правило.

http://example.com/
 разрешить: / $
запретить: / 

Применимое правило : allow: / $ , потому что оно более конкретное.

http: // example.com / page.htm
 разрешить: / $
запретить: / 

Применимое правило : disallow: / , потому что разрешить Правило применяется только к корневому URL-адресу.

# # robots.txt # # Этот файл предназначен для предотвращения сканирования и индексации определенных частей # вашего сайта поисковыми роботами и пауками, управляемыми такими сайтами, как Yahoo! # и Google.Сообщая этим «роботам», куда нельзя заходить на вашем сайте, # вы экономите трафик и ресурсы сервера. # # Этот файл будет проигнорирован, если он не находится в корне вашего хоста: # Используется: http://example.com/robots.txt # Игнорируется: http://example.com/site/robots.txt # # Дополнительную информацию о стандарте robots.txt см. В следующих статьях: # http://www.robotstxt.org/robotstxt.html Пользовательский агент: * # CSS, JS, изображения Разрешить: /core/*.css$ Разрешить: /core/*.css? Разрешить: /core/*.js$ Разрешить: /core/*.js? Разрешить: /core/*.gif Разрешить: / core / *.jpg Разрешить: /core/*.jpeg Разрешить: /core/*.png Разрешить: /core/*.svg Разрешить: /profiles/*.css$ Разрешить: /profiles/*.css? Разрешить: /profiles/*.js$ Разрешить: /profiles/*.js? Разрешить: /profiles/*.gif Разрешить: /profiles/*.jpg Разрешить: /profiles/*.jpeg Разрешить: /profiles/*.png Разрешить: /profiles/*.svg # Каталоги Запретить: / core / Запретить: / profiles / # Файлов Запретить: /README.txt Запретить: /web.config # Пути (чистые URL) Запретить: / admin / Запретить: / back_office_utilisateur / Запретить: / комментарий / ответ / Запретить: / фильтр / советы Запретить: / узел / добавить / Запретить: / поиск / Запретить: / recherche / Запретить: / пользователь / регистрация / Запретить: / tableau_de_bord_utilisateur / register / Запретить: / пользователь / пароль / Запретить: / tableau_de_bord_utilisateur / пароль / Запретить: / пользователь / логин / Запретить: / tableau_de_bord_utilisateur / войти / Запретить: / пользователь / выход из системы / Запретить: / tableau_de_bord_utilisateur / logout / Запретить: / mon-compte / Запретить: / mon-espace-staff / Запретить: / предпочтения / Запретить: / utilisateur-bloque / Запретить: / compte-inactif / # Пути (без чистых URL) Запретить: / index.php / admin / Запретить: /index.php/back_office_utilisateur/ Запретить: /index.php/comment/reply/ Запретить: /index.php/filter/tips Запретить: /index.php/node/add/ Запретить: /index.php/search/ Запретить: /index.php/recherche/ Запретить: /index.php/user/password/ Запретить: /index.php/tableau_de_bord_utilisateur/password/ Запретить: /index.php/user/register/ Запретить: /index.php/tableau_de_bord_utilisateur/register/ Запретить: /index.php/user/login/ Запретить: /index.php/tableau_de_bord_utilisateur/login/ Запретить: / index.php / пользователь / выход из системы / Запретить: /index.php/tableau_de_bord_utilisateur/logout/ Запретить: /index.php/mon-compte/ Запретить: /index.php/mon-espace-personnel/ Запретить: /index.php/preferences/ Запретить: /index.php/utilisateur-bloque/ Запретить: /index.php/compte-inactif/

Пользовательский агент: PowerMapper Позволять: / Пользовательский агент: * # # # # robots.txt # # # # Этот файл предназначен для предотвращения сканирования и индексации определенных частей # # вашего сайта поисковыми роботами и пауками, управляемыми такими сайтами, как Yahoo! # # и Google.Сообщая этим «роботам», куда нельзя заходить на вашем сайте, # # вы экономите трафик и ресурсы сервера. # # # # Этот файл будет проигнорирован, если он не находится в корне вашего хоста: # # Используется: http://example.com/robots.txt # # Игнорируется: http://example.com/site/robots.txt # # # # Дополнительную информацию о стандарте robots.txt см. В следующих статьях: # # http://www.robotstxt.org/robotstxt.html # User-agent: * # # CSS, JS, изображения # Разрешить: /core/*.css$ # Разрешить: /core/*.css? # Разрешить: /core/*.js$ # Разрешить: /core/*.js? # Разрешить: / core / *.гифка # Разрешить: /core/*.jpg # Разрешить: /core/*.jpeg # Разрешить: /core/*.png # Разрешить: /core/*.svg # Разрешить: /profiles/*.css$ # Разрешить: /profiles/*.css? # Разрешить: /profiles/*.js$ # Разрешить: /profiles/*.js? # Разрешить: /profiles/*.gif # Разрешить: /profiles/*.jpg # Разрешить: /profiles/*.jpeg # Разрешить: /profiles/*.png # Разрешить: /profiles/*.svg # # Каталоги Запретить: / core / Запретить: / profiles / # # Файлы Запретить: /README.txt Запретить: /web.config # # Пути (чистые URL) Запретить: / admin / Запретить: / комментарий / ответ / Запретить: / комментарий / * Запретить: / фильтр / советы Запретить: / узел / добавить / Запретить: / поиск / Запретить: / пользователь / регистрация / Запретить: / пользователь / пароль / Запретить: / пользователь / логин / Запретить: / пользователь / выход из системы / # # Пути (без чистых URL) Запретить: / index.php / admin / Запретить: /index.php/comment/reply/ Запретить: /index.php/filter/tips Запретить: /index.php/node/add/ Запретить: /index.php/search/ Запретить: /index.php/user/password/ Запретить: /index.php/user/register/ Запретить: /index.php/user/login/ Запретить: /index.php/user/logout/ # # Ловушки параметров Запретить: / blog? Disallow: / library? Disallow: / events? Disallow: / results-stories? Запретить: / новости / все? Disallow: / infographics? Запретить: * / узел / Запретить: * / users / Disallow:? Комбинировать # # Блокировать динамический контент Запретить: * / blog? * Запретить: * / library? * Запретить: * / events? * Disallow: * / results-stories? * Запретить: * / news / all? * Disallow: * / infographics? * Запретить: * / узел / Запретить: * / users / Disallow: *? Комбинировать * Запретить: * / search / site? * Запретить: * / subscribe / 0? Cid = * # End

# # роботов.текст # # Этот файл предназначен для предотвращения сканирования и индексации определенных частей # вашего сайта поисковыми роботами и пауками, управляемыми такими сайтами, как Yahoo! # и Google. Сообщая этим «роботам», куда нельзя заходить на вашем сайте, # вы экономите трафик и ресурсы сервера. # # Этот файл будет проигнорирован, если он не находится в корне вашего хоста: # Используется: http://example.com/robots.txt # Игнорируется: http://example.com/site/robots.txt # # Для получения дополнительной информации о файле robots.txt, см .: # http://www.robotstxt.org/robotstxt.html Пользовательский агент: * # Crawl-delay: 10 # CSS, JS, изображения Разрешить: /misc/*.css$ Разрешить: /misc/*.css? Разрешить: /misc/*.js$ Разрешить: /misc/*.js? Разрешить: /misc/*.gif Разрешить: /misc/*.jpg Разрешить: /misc/*.jpeg Разрешить: /misc/*.png Разрешить: /modules/*.css$ Разрешить: /modules/*.css? Разрешить: /modules/*.js$ Разрешить: /modules/*.js? Разрешить: /modules/*.gif Разрешить: /modules/*.jpg Разрешить: / modules / *.jpeg Разрешить: /modules/*.png Разрешить: /profiles/*.css$ Разрешить: /profiles/*.css? Разрешить: /profiles/*.js$ Разрешить: /profiles/*.js? Разрешить: /profiles/*.gif Разрешить: /profiles/*.jpg Разрешить: /profiles/*.jpeg Разрешить: /profiles/*.png Разрешить: /themes/*.css$ Разрешить: /themes/*.css? Разрешить: /themes/*.js$ Разрешить: /themes/*.js? Разрешить: /themes/*.gif Разрешить: /themes/*.jpg Разрешить: /themes/*.jpeg Разрешить: /themes/*.png # Каталоги Disallow: / включает / Disallow: / de / includes / Запретить: / misc / Запретить: / de / misc / #Disallow: / modules / Запретить: / de / modules / Запретить: / profiles / Запретить: / de / profiles / Запретить: / scripts / Запретить: / de / scripts / Запретить: / themes / Запретить: / de / themes / # Файлов Запретить: / CHANGELOG.текст Запретить: /cron.php Запретить: /INSTALL.mysql.txt Запретить: /INSTALL.pgsql.txt Запретить: /INSTALL.sqlite.txt Запретить: /install.php Запретить: /INSTALL.txt Запрещено: /LICENSE.txt Запретить: /MAINTAINERS.txt Запретить: /update.php Запретить: /UPGRADE.txt Запретить: /xmlrpc.php Запретить: / файл * # Пути (чистые URL) Запретить: / admin / Запретить: / de / admin / Запретить: / комментарий / ответ / Запретить: / filter / tips / Запретить: / выйти из системы / Запретить: / узел / добавить / Запретить: * / node / * Запретить: / поиск / Запретить: / de / search / Запретить: / пользователь / регистрация / Запретить: / de / user / register / Запретить: / пользователь / пароль / Запретить: / де / пользователь / пароль / Запретить: / пользователь / логин / Запретить: / пользователь / выход из системы / Запретить: / de / user / login / # Пути (без чистых URL) Запретить: / *? Q = * Запретить: /? Q = admin / Запретить: /? Q = комментарий / ответ / Запретить: /? Q = filter / tips / Запретить: /? Q = выйти / Запретить: /? Q = узел / добавить / Запретить: /? Q = search / Запретить: /? Q = пользователь / пароль / Запретить: /? Q = пользователь / регистрация / Запретить: /? Q = пользователь / логин / Запретить: /? Q = пользователь / выход из системы / #увеличение Запретить: / boost_stats.php # Возможные повторяющиеся URL Disallow: / * отчеты о результатах? * Запретить: / * asmSelect * Disallow: / *? Порядок * Disallow: / * tid * Disallow: / *? Quicktabs * Disallow: / *? Имя * Запретить: / пользователь / Запретить: / de / user / Запретить: / пользователь и пункт назначения * Запретить: / de / пользователь и пункт назначения * Запретить: / printmail / Запретить: / de / printmail / Запретить: / print / Запретить: / de / print / Запретить: / printpdf / Запретить: / de / printpdf / Запрещено: / инвесторы / годовые отчеты / indian-gapp-2005-06? Page = 1 Disallow: / de / investments / Annual-reports / indian-gapp-2005-06? Page = 1 Disallow: / инвесторы / годовые отчеты / годовой отчет-2001-02? Page = 1 Disallow: / de / investments / Annual-reports / Annual-report-2001-02? Page = 1 Запретить: / webinars / enterprise-application-services / webinar-tibco-amp-hcl? Page = 1 Запретить: / de / webinars / enterprise-application-services / webinar-tibco-amp-hcl? Page = 1 Disallow: / инвесторы / квартальные результаты / второй квартал-фг-2oo8-09? Page = 1 Disallow: / de / invest / квартальные результаты / второй квартал-fy-2oo8-09? Page = 1 Disallow: / устойчивого развития / награды-признание? Page = 1 Запретить: / инвесторам / расшифровки стенограммы разговора / hcl-technologies-limited-q1-2009-конференц-звонок? Page = 1 Запретить: / de / invest / расшифровка стенограммы разговора / hcl-technologies-limited-q1-2009-Conference-call? Page = 1 Disallow: / инвесторы / квартальные результаты / результаты второго квартала-fy-2000-01? Page = 1 Disallow: / de / invest / квартальные результаты / результаты второго квартала-fy-2000-01? Page = 1 Disallow: / инвесторы / годовые отчеты / годовой отчет-2004-05? Page = 1 Disallow: / de / investments / Annual-reports / Annual-report-2004-05? Page = 1 Запретить: / устойчивого развития / обзора? Page = 1 Запретить: / de /ustainability / overview? Page = 1 Запретить: / webinars / enterprise-transformation-services / scor? Page = 1 Запретить: / de / webinars / enterprise-transformation-services / scor? Page = 1 Disallow: / инвесторы / квартальные результаты / третий квартал-фг-2oo4-o5? Page = 1 Disallow: / de / invest / квартальные результаты / третий квартал-fy-2oo4-o5? Page = 1 Disallow: / инвесторы / квартальные результаты / третий квартал-фг-2oo1-o2? Page = 1 Disallow: / de / invest / квартальные результаты / третий квартал-fy-2oo1-o2? Page = 1 Запретить: / инвесторы / корпоративное управление-hcl? Page = 1 Disallow: / de / invest / корпоративное управление-hcl? Page = 1 Запретить: / webinars / mainframe-amp-midrange-services / leverage-legacy? Page = 1 Запретить: / de / webinars / mainframe-amp-midrange-services / leverage-legacy? Page = 1 Disallow: / инвесторы / квартальные результаты / третий квартал-фг-2oo6-o7? Page = 1 Запретить: / webinars / enterprise-transformation-services / deriving-maximum-roi-your-crm-Initiative? Page = 1 Disallow: / инвесторы / квартальный-отчет-корпоративное управление / квартал-июнь-30-2011-0? Page = 1 Disallow: / инвесторы / годовые отчеты / годовой отчет-1998-99? Page = 1 Disallow: / инвесторы / квартальные результаты / первый квартал-фг-2oo8-09? Page = 1 Disallow: / инвесторы / квартальные результаты / четвертый квартал и годовые-результаты-fy-2001-02? Page = 1 Disallow: / инвесторы / квартальные результаты / первый квартал-фг-2oo2-03? Page = 1 Disallow: / инвесторы / годовые отчеты / годовой отчет-2002-03? Page = 1 Disallow: / видео-галерея / устойчивость / обзор Disallow: / инвесторы / квартальные результаты / третий квартал-фг-2oo2-o3? Page = 1 Disallow: / инвесторы / квартальные результаты / третий квартал-фг-2oo8-09? Page = 1 Disallow: / инвесторы / квартальные результаты / первый квартал-фг-2oo1-02? Page = 1 Disallow: / инвесторы / квартальные результаты / второй квартал-фг-2oo7-08? Page = 1 Запретить: / пресс-релизы / корпоративные приложения-сервисы / hcl-technologies-дальше-усиливает-свое-программное обеспечение-qua? Page = 1 Disallow: / инвесторы / квартальные результаты / первый квартал-фг-2oo5-06? Page = 1 Disallow: / инвесторы / годовые отчеты / indian-gapp-2009-2010? Page = 1 Disallow: / инвесторы / квартальные результаты / третий квартал-фг-2oo3-o4? Page = 1 Запретить: / устойчивость / перебалансировать / выявление-возможности-взаимодействия с заинтересованными сторонами? Page = 1 Disallow: /ustainability / rebalance? Page = 1 Disallow: / инвесторы / квартальные результаты / третий квартал-фг-2oo0-o1? Page = 1 Disallow: / устойчивого развития / погашения-общества? Page = 1 Disallow: / инвесторы / квартальные результаты / второй квартал-фг-2oo6-o7? Page = 1 Запретить: / webinars / retail-amp-consumer / unleash-power-your-consumer-portal? Page = 1 Запретить: / устойчивость / новое определение-рабочее место? Page = 1 Disallow: / инвесторы / квартальные результаты / четвертый квартал-amp-годовые-результаты-fy-2000-01? Page = 1 Запрещено: / инвесторы / годовые отчеты / indian-gapp-2007-08? Page = 1 Disallow: / инвесторы / годовые отчеты / годовой отчет-2000-01? Page = 1 Disallow: / инвесторы / квартальный отчет о корпоративном управлении / квартал, завершившийся 30 сентября 2011 г.? Page = 1 Disallow: / инвесторы / квартальный отчет о корпоративном управлении / квартал, завершившийся 31 декабря 2011 г.? Page = 1 Запретить: / webinars / retail-amp-consumer / price-or-not-price? Page = 1 Disallow: / инвесторы / квартальные результаты / результаты первого квартала-2011-2012? Page = 1 Disallow: / инвесторы / квартальные результаты / первый квартал-фг-2oo6-o7? Page = 1 Disallow: / инвесторы / квартальные результаты / результаты второго квартала-fy-2001-02? Page = 1 Запретить: / инвесторы / результаты-отчеты? Field_financial_year_value_many_to_one = 1998-99% 20 Запретить: / инвесторы / годовые отчеты / us-gapp-0? Page = 1 Disallow: / инвесторы / квартальные результаты / первый квартал-фг-2oo4-05? Page = 1 Disallow: / about-us / лидерство / устойчивость / обзор Запретить: / вебинары / независимая-проверка-amp-валидация-тестирование / test-factory-box-0 Запретить: / устойчивость / переопределение-рабочее место / декодирование-индивидуальность-и-раскрытие-их-потенциала? Page = 1 Запретить: / инвесторам / годовой-отчет о корпоративном управлении / отчет о корпоративном управлении-fy09-10-0? Page = 1 Запретить: / webinars / mainframe-amp-midrange-services / hcl-micro-focus-mainframe-re-hosting-solution? Page = 1 Запрещено: / инвесторы / дочерние компании-financials / hcl-spain? Page = 1 Disallow: / устойчивого развития / лидерства-укусов? Page = 1 Запретить: / устойчивого развития / ответственного бизнеса? Page = 1 Disallow: / инвесторы / годовые отчеты / indian-gapp-0? Page = 1 Disallow: / инвесторы / квартальные результаты / третий квартал-фг-2oo7-08? Page = 1 Disallow: / инвесторы / квартальный отчет о корпоративном управлении / квартал-декабрь-2010-0? Page = 1 Запрещение: / устойчивость / возобновление-экосистема? Page = 1 Запретить: / white-paper / cloud-computing / navigating-clouds-tools-you-can-use? Page = 1 Запретить: / Investors / Annual-reports / auditors-report? Page = 1 Disallow: / инвесторы / годовые отчеты / годовой отчет-2006-07? Page = 1 Disallow: / инвесторы / квартальные результаты / первый квартал-фг-2oo7-o8? Page = 1 Запретить: / webinars / retail-amp-consumer / virtual-Mobility-coe-% E2% 80% 93-vital-extension-your-enterprise? Page = 1 Disallow: / инвесторы / квартальный отчет о корпоративном управлении / квартал-март-2011-0? Page = 1 Disallow: / инвесторы / годовые отчеты / us-gaap? Page = 1 Запрещено: / инвесторы / годовой-отчет о корпоративном управлении / отчет о корпоративном управлении-fy10-11? Page = 1 Запретить: / инвесторам / дочерним компаниям-финансам / о-нас / партнерским-альянсам Запретить: / about-us / awards-признания? Page = 1 Disallow: /ustainability / ceo-statement? Page = 1 Запретить: / инвесторам / годовым отчетам / us-gaap-notes-account? Page = 1 Disallow: / инвесторы / квартальные результаты / первый квартал-фг-2oo3-04? Page = 1 Disallow: / инвесторы / квартальные результаты / результаты первого квартала-2000-01? Page = 1 Запретить: / устойчивость / устойчивость-стол? Page = 1 Disallow: / инвесторы / годовые отчеты / годовой отчет-2003-04? Page = 1 Disallow: / инвесторы / годовые отчеты / годовой отчет-1999-00? Page = 1 Запрещено: / pdf / HCL% 20to% 20provide% 20Enterprise-wide% 20IT% 20solution%.. Disallow: / pdf / HCL% 20Brand% 20Campaign% 20Talking% 20Nu .. Disallow: / media-entertainment /% E2% 80% 8B-историй успеха / 7 Запрещено: *? Q = инвесторам / годовым отчетам / дочерним компаниям-финансам / pdf / Axon_Solutions_Sdn._Bhd..pdf Запрещено: /germany/Handel-und-Konsumg%FCter.asp Disallow: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/6_HCl*Gmbh*Audited*Financials*2009-10*.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/53_*HCL*Mexico*Financials_Dec*2009.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/52_*HCL*Argentina*financial*.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/51_HCL_Latin*America_30062010.pdf Disallow: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/50_*HCL*Hungary*Limited*Signed*212*June*2010.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/47_HCL*Axon*Ltd…pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/46_*HCL*EAS*Limited*2009-10*Signed.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/45_HCL*Canada_June*2010.pdf Disallow: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/44_HCL*Insurance*BPO*Financials*June*10.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/43_*AXON*EBT*Trustee*Signed*.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/41_Axon*Solution*Schweiz*Gmbh.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/4_*HCL*Sweden*AB*Signed*2009-10*Swedish*.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/4_*HCL*Sweden*AB*Signed*2009-10*English*.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/39_Axon*Solution**Canada**Inc..pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/37_Aspire*Solutions*Sdn*Bhd*June*2010.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/36_*JSP*Consulting*Sdn*Bhd*June*2010.pdf Запретить: / index.php? q = инвесторы / годовые-отчеты / дочерние-финансовые / pdf / 34_ * Axon * Solutions * Сингапур * — * июнь * 2010.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/31_Axon*Solutions*Limited.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/30_Bywater*Limited.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/28_Axon*Group*Limited.pdf Disallow: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/24_HCL*Poland*212*Financials*FY*2009-10.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/23_HCL_Technopark_financials_June_10*Mgt_Signed_only*.pdf Запретить: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/22*HCL*EAI*Services*Limited.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/20_HCL*Singapore*Pte*Ltd..pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/19_*HCL_Jones*LLC*June*2010.pdf Запретить: / index.php? q = инвесторам / годовым отчетам / дочерним компаниям-финансам / pdf / 17_HCL * BPO * Services *** NI * .pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/12_*HCL*Japan*Signed*212*June*2010.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/10_*HCL**New*Zealand**Limited*Financials*June*2010.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/1_HCL*Bermuda_June*2010.pdf Запретить: /index.php?q=germany/*brootpath*hcl-wins-smart-work-place-awards.pdf Запретить: /index.php?q=France*Benelux/*-wins-smart-work-place-awards.pdf Запретить: /France*Benelux/RSS-feed.asp Запрещено: /brasil/Servi*os-financeiros.asp Запретить: /brasil/*Ancias-da-Vida-Cuidados-de-Sa*.asp Disallow: / automotive / success-stories / Hi-fi * Car * Audio * .. Disallow: /app .. Запретить: /*rootpath+*hcl-wins-smart-work-place-awards.pdf Запретить: / nodequeue / * Запретить: * / registrations / * Запретить: * / register / webinar / * Запретить: / tagadelic / * Запретить: / tagclouds / * # Лидерские бизнес-страницы Запретить: / лидерство-бизнес-страницы / * # Профилей спикеров Запретить: / профили-громкоговорители / * # События Запретить: / events / * / * / * Запретить: / de / events / * / * / * # Вебинары Запретить: / вебинары / * / * / * Запретить: / de / webinars / * / * / * # Ресурсы Запретить: / resources / * / * Запретить: / de / resources / * / * # СМИ Запретить: / media / * / * Запретить: / de / media / * / * # Видео Запретить: / видео-галерея / * / * Запретить: / de / video-gallery / * / * # Инвесторы Запрещено: / инвесторы / * / * Disallow: / de / investments / * / * # Карьера Disallow: / careers / job-list / all-jobs? * Запретить: / de / careers / job-list / all-jobs? * # Вакансии Запретить: / jobs / * / * Запретить: / de / jobs / * / * #О нас Запретить: / about-us / Leadership / * / * Запретить: / about-us / корпоративное управление / * / * Disallow: / about-us / awards-признания / * / * Запретить: / socially-ответственный-бизнес / * / * / * Disallow: / about-us / partnerships-alliances / * # EmployeesFirst Запретить: / EmployeesFirst / * / * Запретить: / de / EmployeesFirst / * / * # Аналитики Запретить: / analyst / * / * / * Запретить: / de / analyst / * / * / * # ВЭФ Запретить: / hcl-wef / * / * Запретить: / de / hcl-wef / * / * # События Запретить: / События / * / * / * Запретить: / de / Events / * / * / * # Вебинары Запретить: / Вебинары / * / * / * Запретить: / de / Webinars / * / * / * # Ресурсы Запретить: / Resources / * / * Запретить: / de / Resources / * / * # СМИ Запретить: / Media / * / * Запретить: / de / Media / * / * # Видео Запретить: / Видео-галерея / * / * Запретить: / de / Video-gallery / * / * # Инвесторы Disallow: / Investors / * / * Disallow: / de / Investors / * / * # Вакансии Запретить: / Jobs / * / * Запретить: / de / Jobs / * / * # Groundswell Disallow: / Groundwell2012 * #О нас Запретить: / О нас / руководство / * / * Запретить: / О нас / корпоративное управление / * / * Disallow: / О нас / награды-признание / * / * Запретить: / Социально-ответственный-бизнес / * / * / * Disallow: / About-us / partnerships-alliances / * # Переднее слайд-шоу Disallow: / слайд-1-rbtc Запрещение: / нулевые инциденты Disallow: / cio-ceo-0 Disallow: / no-application-management-0 # Аналитики Запретить: / Analyst / * / * / * Запретить: / de / Analyst / * / * / * # ВЭФ Запретить: / Hcl-wef / * / * Запретить: / de / Hcl-wef / * / * # CS кампания Запретить: / CS-RC / * # Кампания Идеатон Disallow: / blogs / ideathon-2012 / * Disallow: / blogs / ideathon-2012 # Раздел наград Webby Запретить: / webby-awards Запретить: / webby-awards / * # Английские страницы на немецком языке.Запретить: / de / resources * Запретить: / де / ресурсы Запретить: / de / media * Запретить: / de / media Запретить: / de / jobs * Запретить: / de / jobs Запретить: / de / events * Запретить: / de / events Запретить: / de / webinars * Запретить: / de / webinar Disallow: / de / analyst * Запретить: / de / analyst #block taxonomy Запретить: / taxonomy / * Запретить: / de / taxonomy / * Запретить: / блоги / теги * Disallow: / *? Назначение * Запретить: / de / blogs * Запрещено: www.hcltech.com/gartner-campaign Карта сайта: https://www.hcltech.com/sitemap-index.xml Карта сайта: https://www.hcltech.com/sitemap.xml Карта сайта: https://www.hcltech.com/sitemap-video.xml Карта сайта: https://www.hcltech.com/sitemap-image.xml Карта сайта: https://www.hcltech.com/sitemap-ssl.xml # 404 Disallow: / 404 Запретить: / site -hancement-personalization Запретить: / site -hancement-rbtc-branch-align Запретить: / the-rbtc-contract Запретить: / web-Intelligence Disallow: / mobile-responseive-features Disallow: / seo-case-study Disallow: / сайт-миллиард долларов Disallow: / aMileForHer-Creativity Запретить: / aMileForHer-Measurement Запретить: / aMileForHer-Outcome Запретить: / aMileForHer Запретить: / HCLShortCutsToSuccess Запретить: / ремаркетинг Disallow: / women-lead-australia. Disallow: / SMS-Activity # Hybridauth Disallow: / hybridauth * Запретить: / de / hybridauth * Запретить: / кого-это-может-беспокоить Disallow: / hcl-technologies-release-form-customer-stories Запрещено: / hcl-india Запретить: / история успеха / системная интеграция / hcls-расширенная-аналитика-решение-улучшает-клиента Запретить: / sites / default / files / resources / success_story / files / 2015/02/16 / cpg_2.pdf Запретить: /sites/default/files/usaa_case_study.pdf Запретить: / успешная-история / аутсорсинг-бизнес-процессов / hcl-бизнес-услуги-тематическое-исследование-потребительские-кредиты-андеррайтинг-сервис Запретить: / blogs / idea-blogs / are-you-21st-Century-technology-professional Запретить: /sites/default/files/is_your_bank_future_ready_0.pdf Запретить: /sites/default/files/article_by_nikhil_and_sathya_dare_to_be_different_-new_ways_to_communicate_with_customers.pdf Запретить: / sites / default / files / bfsi-analyst_day_boston_dec_2010.pdf Запретить: /sites/default/files/Bank_of_America_V3.pdf Запретить: /sites/default/files/a_fortune_200_insurer_aligns_its_it_metrics_with_business_objective_with_the_help_of_hcls_infra_services.pdf Запретить: / getajob * Disallow: / dryice-bak Disallow: / * bak-123 * Запретить: / beta -yondigital * Разрешить: / campaign / farnborough-international-airshow-2016 Разрешить: / campaign / iot-page / Disallow: / unique-id-form Запретить: / блоги / профиль / anantg Disallow: / нидерланды Disallow: / france Disallow: / belgium Disallow: / швейцария Disallow: / germany Disallow: / brazil Disallow: / united-arab-emirates Disallow: / саудовская аравия Disallow: / прямой разговор Disallow: / оставаться на связи-события * Запретить: / оставаться на связи-события Запретить: / согласие-данные-история Запретить: / согласие-данные-история * Disallow: / оставаться на связи Disallow: / оставаться на связи-3-бак-123 Запретить: / uk-sa-stayconnected Запретить: / dach-sa-stayconnected Запретить: / nordics-sa-stayconnected Disallow: / eu-sa-stayconnected Disallow: / оставаться на связи * Disallow: / оставаться на связи-3-бак-123 * Запретить: / uk-sa-stayconnected * Запретить: / dach-sa-stayconnected * Запретить: / nordics-sa-stayconnected * Disallow: / eu-sa-stayconnected * Запретить: / подписаться Disallow: / подписаться * Запретить: / support / ticket-report / qulc Запретить: / support / ticket-report / dc Запретить: / pdf-viewer-pdf-upload Запретить: / media / press_release / прогнозные заявления Запрещение: / промежуточный путь Запретить: / zh-hant / промежуточный путь Запретить: / da / промежуточный путь Запрещение: / en / промежуточный путь Запретить: / fr / промежуточный путь Запретить: / де / промежуточный путь Запретить: / ja / промежуточный путь Запретить: / pt / промежуточный путь Запретить: / es / промежуточный путь Запретить: / sv / промежуточный путь Запретить: / intel-доступ Запретить: / hcl-vmware-вход-портал Запретить: / hcl-vmware-стратегические-отношения Запретить: / сайты / по умолчанию / файлы / Intel-сделки-файлы / hcl-аналитик-распознавания-полупроводниковые встроенные.pdf Запретить: /sites/default/files/intel-deal-files/hcl-intel-relationship-video.mp4 Запретить: /sites/default/files/intel-deal-files/srv6-acceleration-poc.mp4 Запретить: /sites/default/files/hcl_engineering_and_rd_vmware_2020_part_1_compressed.pdf Запретить: /sites/default/files/hcl_engineering_and_rd_vmware_2020_part_2_compressed.pdf Запретить: /sites/default/files/vmware-files/vmware-case-study-telecom.pdf Запретить: / sites / default / files / vmware-files / vmware-DevOps-Возможности.pdf Запретить: /sites/default/files/vmware-files/vmware-hcl-capability-reference.pdf Запретить: /sites/default/files/vmware-files/vmware-hcl-datacenter-engineering-capabilities-client-facing-deck.pdf Запретить: /sites/default/files/vmware-files/vmware-hcl-main-proposal.pdf Запретить: /sites/default/files/vmware-files/vmware-pas-brochure.pdf Запретить: /sites/default/files/vmware-files/vmware-rfp-capability-slu-case-study.pdf Запретить: / sites / default / files / vmware-files / vmware-taf_brochure.pdf Запретить: /sites/default/files/hybrid_multi_cloud.pdf Запретить: /sites/default/files/containers_microservices.pdf Запретить: /sites/default/files/iot_works.pdf Запретить: /sites/default/files/the_enterprise.pdf Запретить: /sites/default/files/networking.pdf Запретить: /sites/default/files/vmware_presentation_june_6-min.pdf Запретить: /sites/default/files/global_aviation_company_improves_software_testing_reduces_executive_cyc.pdf Запретить: / sites / default / files / apps-modernization.pdf Запретить: /sites/default/files/hcl-vmware-360-degree.pdf Запретить: / sites / default / files / resources_backup / * Запретить: / nodequeue / * Запретить: / zh-hant / node Запретить: / da / node Запретить: / en / node Запретить: / fr / node Запретить: / de / node Запретить: / ja / node Запретить: / pt / node Запретить: / es / node Запретить: / sv / node Запрещение: * / da / * Запретить: * / es / * Запрещено: * / fr / * Запретить: * / zh-hant / * Запретить: * / de / * Запретить: * / sv / * Запретить: * / pt / * Запрещение: * / js / * # Рабочие страницы Запретить: * / jobs / * # Страница аудита облака Запретить: / облако / aws / aws-connect-services # Страница персонализации Запретить: / Personalization-revamp / get-data Запретить: / personalization-revamp / get-business-data Запретить: / personalization-revamp / get-geo-data Запретить: / Personalization-revamp / get-home-page-banner-data Запретить: / сайты / по умолчанию / файлы / lca-документы / * # Alexabot Пользовательский агент: Alexabot Пользовательский агент: ia_archiver Disallow: / careers / * Запретить: / jobs / * Запретить: / de Запретить: / print

# # prod_hermes_com_robots.текст # # Этот файл предназначен для предотвращения сканирования и индексации определенных частей # вашего сайта поисковыми роботами и пауками, управляемыми такими сайтами, как Yahoo! # и Google. Сообщая этим «роботам», куда нельзя заходить на вашем сайте, # вы экономите трафик и ресурсы сервера. # # Этот файл будет проигнорирован, если он не находится в корне вашего хоста: # Используется: http://example.com/robots.txt # Игнорируется: http://example.com/site/robots.txt # # Для получения дополнительной информации о файле robots.txt, см .: # http://www.robotstxt.org/robotstxt.html # Для папок и файлов Drupal используются символы подстановки для каталогов 1) страна 2) язык Пользовательский агент: * # Каталоги Запретить: / * / config / Disallow: / * / * / включает / Запретить: / * / * / разное / Запретить: / * / * / modules / Запретить: / * / * / profiles / Запретить: / * / * / scripts / Запретить: / * / * / themes / Разрешить: / * / * / themes / custom / hermes / img / # Файлов Запретить: /*/*/CHANGELOG.txt Запретить: / * / * / cron.php Запретить: /*/*/INSTALL.mysql.txt Запретить: /*/*/INSTALL.pgsql.txt Запретить: /*/*/install.php Запретить: /*/*/INSTALL.txt Запретить: /*/*/LICENSE.txt Запретить: /*/*/MAINTAINERS.txt Запретить: /*/*/update.php Запретить: /*/*/UPGRADE.txt Запретить: /*/*/xmlrpc.php # Пути (чистые URL) Запретить: / admin / commerce / Запретить: / * / * / admin / Запретить: / * / * / комментарий / ответ / Запретить: / * / * / узел / добавить / Запретить: / * / * / узел / * Запретить: / * / * / search / Запретить: / * / * / taxonomy / * Запретить: / * / * / пользователь / регистрация / Запретить: / * / * / пользователь / пароль / Запретить: / * / * / пользователь / логин / Запретить: / * / * / пользователь / выход из системы / # Пути (без чистых URL) Запретить: / * / * /? Q = admin / Запретить: / * / * /? Q = комментарий / ответ / Запретить: / * / * /? Q = node / add / Запретить: / * / * /? Q = search / Запретить: / * / * /? Q = пользователь / пароль / Запретить: / * / * /? Q = user / register / Запретить: / * / * /? Q = user / login / Запретить: / * / * /? Q = user / logout / # добавлено относительно фактической структуры сайта # запретить индексирование поискового URL Запретить: / * / * / search? S = * Запретить: / * / * / search /? S = * # Для папок и файлов Magento подстановочные знаки используются для каталогов 1) страны 2) языка # Каталоги Запрещение: / * / * / 404 / Запретить: / * / * / app / Запрещение: / * / * / cgi-bin / Запретить: / * / * / загрузчик / Запрещение: / * / * / errors / Disallow: / * / * / включает / Запретить: / * / * / lib / Запретить: / * / * / magento / Запрещение: / * / * / pkginfo / Запретить: / * / * / report / Запретить: / * / * / scripts / Запретить: / * / * / shell / Запретить: / * / * / skin / Запрещение: / * / * / stats / Запретить: / * / * / var / # Пути (чистые URL) Запретить: / * / * / catalogsearch / result / Запретить: / * / * / catalog / product_compare / Запретить: / * / * / каталог / категория / просмотр / Запретить: / * / * / catalog / product / view / Запретить: / * / * / catalogsearch / Запретить: / * / * / checkout / Запретить: / * / * / control / Запретить: / * / * / contacts / Запретить: / * / * / customer / Запретить: / * / * / настроить / Запретить: / * / * / информационный бюллетень / Запретить: / * / * / poll / Запретить: / * / * / review / Запретить: / * / * / sendfriend / Запретить: / * / * / tag / Запретить: / * / * / список желаний / Запретить: / * / * / index.php / catalogsearch / result / Запретить: /*/*/index.php/catalog/product_compare/ Запретить: /*/*/index.php/catalog/category/view/ Запретить: /*/*/index.php/catalog/product/view/ Запретить: /*/*/index.php/catalogsearch/ Запретить: /*/*/index.php/checkout/ Запретить: /*/*/index.php/control/ Запретить: /*/*/index.php/contacts/ Запретить: /*/*/index.php/customer/ Запретить: /*/*/index.php/customize/ Запретить: /*/*/index.php/newsletter/ Запретить: /*/*/index.php/poll/ Запретить: / * / * / index.php / обзор / Запретить: /*/*/index.php/sendfriend/ Запретить: /*/*/index.php/tag/ Запретить: /*/*/index.php/wishlist/ # Файлов Запретить: /*/*/cron.php Запретить: /*/*/cron.sh Запрещение: / * / * / error_log Запретить: /*/*/install.php Запрещено: /*/*/LICENSE.html Запретить: /*/*/LICENSE.txt Запретить: /*/*/LICENSE_AFL.txt Запретить: /*/*/STATUS.txt # Пути (без чистых URL) Запретить: /*/*/*.php$ Запретить: / * / * / *? P = * & Запретить: / * / * / *? SID = Disallow: / * / * / *? Limit = all # Ожидание исправления Disallow: / * / история / тест * Disallow: / * / story / * — тест * Запретить: / apps / Запретить: / geoloc / Запретить: / cookie / Запретить: / autodiscover / Запретить: / ACQUIA_MONITOR Запретить: / модули / пользователь / Запретить: / do_not_delete / Запретить: / extension / Запретить: / * / * / get / ajax / notifications / Запретить: / * / * / validatewechatpay / #Params Запретить: *? Cachebuster = * Запретить: *? Nuance = * Запретить: *? Color_hermes__nuance = * Запретить: *? Size_leather = * Запретить: *? Xtor = * Запретить: *? Sortby = * Запретить: *? Site = * Запретить: *? Engineid = * Запретить: *? & Engineid = * Запретить: *? Page = * Запретить: *? A = * Запретить: *? C = * Запретить: *? E = * Запретить: *? P = * Запретить: *? Q = * Запретить: *? V = * Запретить: *? X = * Запретить: *? Cid = * Запретить: *? Mid = * Запрещено: *? Ladh = * Запретить: *? Fbclid = * Запретить: *? StoreId = * DIsallow: * langId = * Запрещено: * catalogId = * Запретить: * идентификатор-эскиза = * Запретить: * _gac = * Запретить: * обратный вызов = * Запретить: * CFID = * Запретить: * CHKeyword = * Запрещено: * city = * Запретить: * комбинация = * Запрещено: * страна = * Запретить: * embedded = * Запретить: * event = * Disallow: * fit = * Запретить: * from = * Disallow: * gamme = * Запрещено: * generic_color_ * Запретить: * hc_location = * Запретить: * insvid = * Запретить: * keyfrom = * Запрещать: * lang = * Запретить: * locale = * Запретить: * mod = * Запретить: * MRK_CMPG_SOURCE = * Запрещено: * NBVCCX = * Запретить: * openExternalBrowser = * Запретить: * orderby = * Запретить: * phint = * Запрещено: * productId = * Запретить: * ref = * Запретить: * selected = * Запрещено: * snowdome_id = * Запретить: * tc = * Запретить: * theme = * Запретить: * tkb = * Запретить: * url_from = * Запретить: * wid = * Запретить: * xtcr = * Запретить: * xtmc = * Запрещено: * yclid = * Запретить: * zoneId = * # Только для Китая Пользовательский агент: * Запрещение: / cn / Пользовательский агент: 360Spider Запретить: / # Все карты сайта, перечисленные ниже: Карта сайта: https: // www.hermes.com/ca/en/sitemap.xml Карта сайта: https://www.hermes.com/ca/fr/sitemap.xml Карта сайта: https://www.hermes.com/us/en/sitemap.xml Карта сайта: https://www.hermes.com/at/de/sitemap.xml Карта сайта: https://www.hermes.com/be/en/sitemap.xml Карта сайта: https://www.hermes.com/be/fr/sitemap.xml Карта сайта: https://www.hermes.com/ch/de/sitemap.xml Карта сайта: https://www.hermes.com/ch/fr/sitemap.xml Карта сайта: https://www.hermes.com/cz/en/sitemap.xml Карта сайта: https://www.hermes.com / de / de / sitemap.xml Карта сайта: https://www.hermes.com/dk/en/sitemap.xml Карта сайта: https://www.hermes.com/es/es/sitemap.xml Карта сайта: https://www.hermes.com/fi/en/sitemap.xml Карта сайта: https://www.hermes.com/fr/fr/sitemap.xml Карта сайта: https://www.hermes.com/ie/en/sitemap.xml Карта сайта: https://www.hermes.com/it/it/sitemap.xml Карта сайта: https://www.hermes.com/jp/ja/sitemap.xml Карта сайта: https://www.hermes.com/lu/fr/sitemap.xml Карта сайта: https://www.hermes.com/nl/en/sitemap.xml Карта сайта: https://www.hermes.com/no/en/sitemap.xml Карта сайта: https://www.hermes.com/pl/en/sitemap.xml Карта сайта: https://www.hermes.com/pt/en/sitemap.xml Карта сайта: https://www.hermes.com/se/en/sitemap.xml Карта сайта: https://www.hermes.com/uk/en/sitemap.xml Карта сайта: https://www.hermes.com/au/en/sitemap.xml Карта сайта: https://www.hermes.com/sg/en/sitemap.xml Карта сайта: https://www.hermes.com/my/en/sitemap.xml Карта сайта: https://www.hermes.com/kr/ko/sitemap.xml Карта сайта: https: // www.hermes.com/ri/en/sitemap.xml Карта сайта: https://www.hermes.com/dh/en/sitemap.xml Карта сайта: https://www.hermes.com/th/en/sitemap.xml

# # robots.txt # # Этот файл предназначен для предотвращения сканирования и индексации определенных частей # вашего сайта поисковыми роботами и пауками, управляемыми такими сайтами, как Yahoo! # и Google. Сообщая этим «роботам», куда нельзя заходить на вашем сайте, # вы экономите трафик и ресурсы сервера. # # Этот файл будет проигнорирован, если он не находится в корне вашего хоста: # Используется: http: // example.ru / robots.txt # Игнорируется: http://example.com/site/robots.txt # # Дополнительную информацию о стандарте robots.txt см. В следующих статьях: # http://www.robotstxt.org/robotstxt.html Пользовательский агент: brightedge Позволять: / Пользовательский агент: * # CSS, JS, изображения Разрешить: /core/*.css$ Разрешить: /core/*.css? Разрешить: /core/*.js$ Разрешить: /core/*.js? Разрешить: /core/*.gif Разрешить: /core/*.jpg Разрешить: /core/*.jpeg Разрешить: /core/*.png Разрешить: /core/*.svg Разрешить: /profiles/*.css$ Разрешить: /profiles/*.css? Разрешить: /profiles/*.js$ Разрешить: /profiles/*.js? Разрешить: / profiles / *.гифка Разрешить: /profiles/*.jpg Разрешить: /profiles/*.jpeg Разрешить: /profiles/*.png Разрешить: /profiles/*.svg # Каталоги Запретить: / core / Запретить: / profiles / # Файлов Запретить: /README.txt Запретить: /web.config # Пути (чистые URL) Запретить: / admin / Запретить: / комментарий / ответ / Запретить: / фильтр / советы Запретить: / узел / добавить / Запретить: / поиск / Запретить: / пользователь / регистрация / Запретить: / пользователь / пароль / Запретить: / пользователь / логин / Запретить: / пользователь / выход из системы / Запретить: / узел / # Пути (чистые URL) — убрать косую черту в конце # добавлено JWL 7-19-18 Запретить: / admin Запретить: / комментарий / ответ Запретить: / фильтр / советы Запретить: / узел / добавить Запретить: / поиск Запретить: / пользователь / регистрация Запретить: / пользователь / пароль Запретить: / пользователь / логин Запретить: / пользователь / выход Запретить: / узел # исправить индекс любого индекса.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *