Disallow index php: Самый правильный robots.txt для популярных CMS

Я хочу разрешить искателям доступ к корневому каталогу моего домена (то есть к файлу index./*$…

Мне нужно поднять 404 Not Found на robots.txt , а доступ с HTTP , на HTTPS robots.txt должен быть возвращен нормально. Я не смог найти способ ограничить доступ к https только в конфигурации app.yaml…

Интересно, могу ли я запретить доступ к http://domain.tld/index.php и разрешить только http://domain.tld/index.php?var=val Возможно ли это с помощью rewritecond и rewriterule? Я не могу этого…

Кто-нибудь может объяснить правильную команду robots.txt для следующего сценария. Я хотел бы разрешить доступ к: /directory/subdirectory/.. Но я также хотел бы ограничить доступ к /directory/ , не…

У меня есть скрипт на моем сайте, позволяющий пользователям редактировать / создавать свою учетную запись. Я хочу ограничить прямой доступ к файлам через браузер…

Я установил mediawiki на своем сайте следующим образом: www.mysite.com/w/index.php Я использовал короткий метод URL, чтобы изменить url на mysite.com/wiki После этого я поместил это в robots.txt,…

Я немного читал о robots.txt и читал, что мне следует запретить все папки в моем веб — приложении, но я хотел бы разрешить ботам читать главную страницу и один вид (url — это, например:…

Я наткнулся на сайт, который использует следующее в своем файле robots.txt: User-agent: * Disallow: /*.php$ Так что же он делает? Помешает ли это веб-искателям обходить следующие URLs?…

Я использую Angular 2 и только что добавил robots.txt в корень моей папки dist на производстве (для целей SEO) Но файл недоступен, так как url https://myrandomsite.com/robots.txt просто…

User-Agent: * # правила для всех роботов Disallow: /cgi-bin # папка на хостинге Disallow: /bitrix/ # папка с системными файлами битрикса Disallow: *bitrix_*= # GET-запросы битрикса Disallow: /local/ # папка с системными файлами битрикса Disallow: /*index.php$ # дубли страниц index.php Disallow: /auth/ # авторизация Disallow: *auth= # авторизация Disallow: /personal/ # личный кабинет Disallow: *register= # регистрация Disallow: *forgot_password= # забыли пароль Disallow: *change_password= # изменить пароль Disallow: *login= # логин Disallow: *logout= # выход Disallow: */search/ # поиск Disallow: *action= # действия Disallow: *print= # печать Disallow: *?new=Y # новая страница Disallow: *?edit= # редактирование Disallow: *?preview= # предпросмотр Disallow: *backurl= # трекбеки Disallow: *back_url= # трекбеки Disallow: *back_url_admin= # трекбеки Disallow: *captcha # каптча Disallow: */feed # все фиды Disallow: */rss # rss фид Disallow: *?FILTER*= # здесь и ниже различные популярные параметры фильтров Disallow: *?ei= Disallow: *?p= Disallow: *?q= Disallow: *?tags= Disallow: *B_ORDER= Disallow: *BRAND= Disallow: *CLEAR_CACHE= Disallow: *ELEMENT_ID= Disallow: *price_from= Disallow: *price_to= Disallow: *PROPERTY_TYPE= Disallow: *PROPERTY_WIDTH= Disallow: *PROPERTY_HEIGHT= Disallow: *PROPERTY_DIA= Disallow: *PROPERTY_OPENING_COUNT= Disallow: *PROPERTY_SELL_TYPE= Disallow: *PROPERTY_MAIN_TYPE= Disallow: *PROPERTY_PRICE[*]= Disallow: *S_LAST= Disallow: *SECTION_ID= Disallow: *SECTION[*]= Disallow: *SHOWALL= Disallow: *SHOW_ALL= Disallow: *SHOWBY= Disallow: *SORT= Disallow: *SPHRASE_ID= Disallow: *TYPE= Disallow: *openstat= # ссылки с метками openstat Disallow: *from= # ссылки с метками from Disallow: /doctorsarticles/ Disallow: /*?message* Disallow: */feedback/detail.php?ID= Disallow: /*?clear_cache Disallow: /diagnosis_and_prevention/trepanobiopsiya-molochnoy-zhelezy/ Allow: */upload/ # открываем папку с файлами uploads Allow: /bitrix/*.js # здесь и далее открываем для индексации скрипты Allow: /bitrix/*.css Allow: /local/*.js Allow: /local/*.css Allow: /local/*.jpg Allow: /local/*.jpeg Allow: /local/*.png Allow: /local/*.gif Allow: /doctorsarticles/*.php User-Agent: Yandex # правила для яндекса Disallow: /cgi-bin # папка на хостинге Disallow: /bitrix/ # папка с системными файлами битрикса Disallow: *bitrix_*= # GET-запросы битрикса Disallow: /local/ # папка с системными файлами битрикса Disallow: /*index.php$ # дубли страниц index.php Disallow: /auth/ # авторизация Disallow: *auth= # авторизация Disallow: /personal/ # личный кабинет Disallow: *register= # регистрация Disallow: *forgot_password= # забыли пароль Disallow: *change_password= # изменить пароль Disallow: *login= # логин Disallow: *logout= # выход Disallow: */search/ # поиск Disallow: *action= # действия Disallow: *print= # печать Disallow: *?new=Y # новая страница Disallow: *?edit= # редактирование Disallow: *?preview= # предпросмотр Disallow: *backurl= # трекбеки Disallow: *back_url= # трекбеки Disallow: *back_url_admin= # трекбеки Disallow: *captcha # каптча Disallow: */feed # все фиды Disallow: */rss # rss фид Disallow: *?FILTER*= # здесь и ниже различные популярные параметры фильтров Disallow: *?ei= Disallow: *?p= Disallow: *?q= Disallow: *?tags= Disallow: *B_ORDER= Disallow: *BRAND= Disallow: *CLEAR_CACHE= Disallow: *ELEMENT_ID= Disallow: *price_from= Disallow: *price_to= Disallow: *PROPERTY_TYPE= Disallow: *PROPERTY_WIDTH= Disallow: *PROPERTY_HEIGHT= Disallow: *PROPERTY_DIA= Disallow: *PROPERTY_OPENING_COUNT= Disallow: *PROPERTY_SELL_TYPE= Disallow: *PROPERTY_MAIN_TYPE= Disallow: *PROPERTY_PRICE[*]= Disallow: *S_LAST= Disallow: *SECTION_ID= Disallow: *SECTION[*]= Disallow: *SHOWALL= Disallow: *SHOW_ALL= Disallow: *SHOWBY= Disallow: *SORT= Disallow: *SPHRASE_ID= Disallow: *TYPE= Disallow: *openstat= # ссылки с метками openstat Disallow: *from= # ссылки с метками from Disallow: /doctorsarticles/ Disallow: /*?message* Disallow: */feedback/detail.php?ID= Disallow: /*?clear_cache Disallow: /diagnosis_and_prevention/trepanobiopsiya-molochnoy-zhelezy/ Allow: */upload/ # открываем папку с файлами uploads Allow: /bitrix/*.js # здесь и далее открываем для индексации скрипты Allow: /bitrix/*.css Allow: /local/*.js Allow: /local/*.css Allow: /local/*.jpg Allow: /local/*.jpeg Allow: /local/*.png Allow: /local/*.gif Allow: /doctorsarticles/*.php User-Agent: GoogleBot # правила для Google Disallow: /cgi-bin # папка на хостинге Disallow: /bitrix/ # папка с системными файлами битрикса Disallow: *bitrix_*= # GET-запросы битрикса Disallow: /local/ # папка с системными файлами битрикса Disallow: /*index.php$ # дубли страниц index.php Disallow: /auth/ # авторизация Disallow: *auth= # авторизация Disallow: /personal/ # личный кабинет Disallow: *register= # регистрация Disallow: *forgot_password= # забыли пароль Disallow: *change_password= # изменить пароль Disallow: *login= # логин Disallow: *logout= # выход Disallow: */search/ # поиск Disallow: *action= # действия Disallow: *print= # печать Disallow: *?new=Y # новая страница Disallow: *?edit= # редактирование Disallow: *?preview= # предпросмотр Disallow: *backurl= # трекбеки Disallow: *back_url= # трекбеки Disallow: *back_url_admin= # трекбеки Disallow: *captcha # каптча Disallow: */feed # все фиды Disallow: */rss # rss фид Disallow: *?FILTER*= # здесь и ниже различные популярные параметры фильтров Disallow: *?ei= Disallow: *?p= Disallow: *?q= Disallow: *?tags= Disallow: *B_ORDER= Disallow: *BRAND= Disallow: *CLEAR_CACHE= Disallow: *ELEMENT_ID= Disallow: *price_from= Disallow: *price_to= Disallow: *PROPERTY_TYPE= Disallow: *PROPERTY_WIDTH= Disallow: *PROPERTY_HEIGHT= Disallow: *PROPERTY_DIA= Disallow: *PROPERTY_OPENING_COUNT= Disallow: *PROPERTY_SELL_TYPE= Disallow: *PROPERTY_MAIN_TYPE= Disallow: *PROPERTY_PRICE[*]= Disallow: *S_LAST= Disallow: *SECTION_ID= Disallow: *SECTION[*]= Disallow: *SHOWALL= Disallow: *SHOW_ALL= Disallow: *SHOWBY= Disallow: *SORT= Disallow: *SPHRASE_ID= Disallow: *TYPE= Disallow: *openstat= # ссылки с метками openstat Disallow: *from= # ссылки с метками from Disallow: /doctorsarticles/ Disallow: /*?message* Disallow: */feedback/detail.php?ID= Disallow: /*?clear_cache Disallow: /diagnosis_and_prevention/trepanobiopsiya-molochnoy-zhelezy/ Allow: */upload/ # открываем папку с файлами uploads Allow: /bitrix/*.js # здесь и далее открываем для индексации скрипты Allow: /bitrix/*.css Allow: /local/*.js Allow: /local/*.css Allow: /local/*.jpg Allow: /local/*.jpeg Allow: /local/*.png Allow: /local/*.gif Allow: /doctorsarticles/*.php Sitemap: https://medic-group.ru/sitemap.xml User-Agent: * Sitemap: https://medic-group.ru/sitemap.xml

 # Если основной домен, то разрешена стандартная индексация для Яндекс User-agent: Yandex Disallow: /*_openstat Disallow: /*from=adwords Disallow: /partners/ Disallow: /unicum.css$ Disallow: /download/ Disallow: /catalog/ Disallow: /catalog_item.php?id=23&lng_current=rus Disallow: /company/contacts/ Disallow: /index.php?name=document_cashbox&lng_current=rus Disallow: /index.php?name=document_minibox&lng_current=rus Disallow: /news/ Disallow: /u-pay/operators.html Disallow: /ua/ Disallow: /business/terminal/payterminal/ Disallow: /catalogue/ Disallow: /company/ Disallow: /eng/catalog/gaming/otherslots/document173.shtml Disallow: /english/index.php Disallow: /index$ Disallow: /index.php?name=document_bookbox&lng_current=rus Disallow: /index.php?name=document_stylebox&lng_current=rus Disallow: /index/$ Disallow: /playboyslots$ Disallow: /slotrevolution$ Disallow: /business/dealers/document239.shtml Disallow: /catalogue/44/203/ Disallow: /forum Disallow: /news/archive/22.html Disallow: /service/$ Disallow: /calculate/APP2/ Disallow: /calculate/APP3/ Disallow: /catalog_item.php?id=16&lng_current=rus Disallow: /catalog_item.php?id=18&image_index=1&lng_current=rus Disallow: /catalog_item.php?id=18&image_index=3&lng_current=rus Disallow: /catalog_item.php?id=18&image_index=4&lng_current=rus Disallow: /catalog_item.php?id=18&image_index=5&lng_current=rus Disallow: /catalog_item.php?id=18&image_index=6&lng_current=rus Disallow: /catalog_item.php?id=18&lng_current=rus Disallow: /catalog_item.php?id=19&lng_current=rus Disallow: /clients/?&prn=1 Disallow: /eng/catalog/gaming/unicumslots/onyx/document192.shtml Disallow: /english/ Disallow: /info.php Disallow: /service/613/ Disallow: /sip-order.php Disallow: /slotrevolution/ Disallow: /mail.unicum.ru:8880/home.html$ Disallow: /online.unicum.ru/$ Disallow: /lonex.msk.unicum.ru/$ Disallow: /owa.msk.unicum.ru/$ Disallow: *.swf Disallow: *.pdf Disallow: /search/ Disallow: *?name Disallow: *?lng_current Disallow: /index.php?cid=8 Disallow: /index.php?id=4371&page=0&sku=Asport Disallow: /js/ Disallow: /vending/tabletop/nerofm Disallow: /privacy-policy Sitemap: http://www.unicum.ru/sitemap/unicum/sitemap.xml Host: www.unicum.ru # Если основной домен, то разрешена стандартная индексация для Google User-agent: Googlebot Disallow: /*_openstat Disallow: /*from=adwords Disallow: /partners/ Disallow: /unicum.css Disallow: *?name Disallow: *?lng_current Disallow: /index.php?cid=8 Disallow: /index.php?id=4371&page=0&sku=Asport Disallow: /vending/tabletop/nerofm User-agent: * Disallow: /*_openstat Disallow: /*from=adwords Disallow: /partners/ Disallow: /unicum.css$ Disallow: /download/ Disallow: /catalog/ Disallow: /catalog_item.php?id=23&lng_current=rus Disallow: /company/contacts/ Disallow: /index.php?name=document_cashbox&lng_current=rus Disallow: /index.php?name=document_minibox&lng_current=rus Disallow: /news/ Disallow: /u-pay/operators.html Disallow: /ua/ Disallow: /business/terminal/payterminal/ Disallow: /catalogue/ Disallow: /company/ Disallow: /eng/catalog/gaming/otherslots/document173.shtml Disallow: /english/index.php Disallow: /index$ Disallow: /index.php?name=document_bookbox&lng_current=rus Disallow: /index.php?name=document_stylebox&lng_current=rus Disallow: /index/$ Disallow: /playboyslots$ Disallow: /slotrevolution$ Disallow: /business/dealers/document239.shtml Disallow: /catalogue/44/203/ Disallow: /forum Disallow: /news/archive/22.html Disallow: /service/$ Disallow: /calculate/APP2/ Disallow: /calculate/APP3/ Disallow: /catalog_item.php?id=16&lng_current=rus Disallow: /catalog_item.php?id=18&image_index=1&lng_current=rus Disallow: /catalog_item.php?id=18&image_index=3&lng_current=rus Disallow: /catalog_item.php?id=18&image_index=4&lng_current=rus Disallow: /catalog_item.php?id=18&image_index=5&lng_current=rus Disallow: /catalog_item.php?id=18&image_index=6&lng_current=rus Disallow: /catalog_item.php?id=18&lng_current=rus Disallow: /catalog_item.php?id=19&lng_current=rus Disallow: /clients/?&prn=1 Disallow: /eng/catalog/gaming/unicumslots/onyx/document192.shtml Disallow: /english/ Disallow: /info.php Disallow: /service/613/ Disallow: /sip-order.php Disallow: /slotrevolution/ Disallow: /mail.unicum.ru:8880/home.html$ Disallow: /online.unicum.ru/$ Disallow: /lonex.msk.unicum.ru/$ Disallow: /owa.msk.unicum.ru/$ Disallow: *.swf Disallow: *.pdf Disallow: /search/ Disallow: *?name Disallow: *?lng_current Disallow: /index.php?cid=8 Disallow: /index.php?id=4371&page=0&sku=Asport Disallow: /vending/tabletop/nerofm Disallow: /privacy-policy # Здесь была ссылка на сайтмэп

# # robots.txt # # Этот файл предназначен для предотвращения сканирования и индексации определенных частей # вашего сайта поисковыми роботами и пауками, управляемыми такими сайтами, как Yahoo! # и Google. Сообщая этим «роботам», куда нельзя заходить на вашем сайте, # вы экономите трафик и ресурсы сервера. # # Этот файл будет проигнорирован, если он не находится в корне вашего хоста: # Используется: http://example.com/robots.txt # Игнорируется: http://example.com/site/robots.txt # # Дополнительную информацию о стандарте robots.txt см. В следующих статьях: # http: // www.robotstxt.org/robotstxt.html Пользовательский агент: * # CSS, JS, изображения Разрешить: /core/*.css$ Разрешить: /core/*.css? Разрешить: /core/*.js$ Разрешить: /core/*.js? Разрешить: /core/*.gif Разрешить: /core/*.jpg Разрешить: /core/*.jpeg Разрешить: /core/*.png Разрешить: /core/*.svg Разрешить: /profiles/*.css$ Разрешить: /profiles/*.css? Разрешить: /profiles/*.js$ Разрешить: /profiles/*.js? Разрешить: /profiles/*.gif Разрешить: /profiles/*.jpg Разрешить: /profiles/*.jpeg Разрешить: /profiles/*.png Разрешить: /profiles/*.svg # Каталоги Запретить: / core / Запретить: / profiles / Запретить: / sites / default / files / aao_documents / * Запретить: / sites / default / files / fda_documents / * Запретить: / сайты / по умолчанию / файлы / без индекса / * Запретить: / media / * Запретить: / taxonomy / * Запретить: / узел / * # Файлов Запретить: / README.текст Запретить: /web.config Запретить: /sites/default/files/2019_AC_AML_Challenges.pdf Запретить: /sites/default/files/2019_AC_Blockchain_ICOs_Cryptocurrencies.pdf Запретить: /sites/default/files/2019_AC_Books_and_Records.pdf Запретить: /sites/default/files/2019_AC_Branch_Cybersecurity_Controls.pdf Запретить: /sites/default/files/2019_AC_Branch_Office_Inspections.pdf Запретить: /sites/default/files/2019_AC_Breakfast_Member_Supervision_Staff.pdf Запретить: /sites/default/files/2019_AC_Business_Continuity.pdf Запретить: / sites / default / files / 2019_AC_CCOs_Role_in_Cybersecurity.pdf Запретить: /sites/default/files/2019_AC_Clearing_and_Operational_Issues.pdf Запретить: /sites/default/files/2019_AC_Common_Examination_Findings_Institutional.pdf Запретить: /sites/default/files/2019_AC_Common_Examination_Findings_Med_Large.pdf Запретить: /sites/default/files/2019_AC_Common_Examination_Findings_Small.pdf Запретить: /sites/default/files/2019_AC_Communications_With_Public.pdf Запретить: /sites/default/files/2019_AC_Complex_Products.pdf Запретить: / sites / default / files / 2019_AC_Conflicts_Interest.pdf Запретить: /sites/default/files/2019_AC_Conflicts_Interest_Investment_Banking.pdf Запретить: /sites/default/files/2019_AC_CRCP_Lunch.pdf Запретить: /sites/default/files/2019_AC_Cyber_Guidance_Small_Firms.pdf Запретить: /sites/default/files/2019_AC_Cybersecurity_Response_Plans.pdf Запретить: /sites/default/files/2019_AC_Digital_Assets_Initial_Coin_Offerings.pdf Запретить: /sites/default/files/2019_AC_Digital_Transformation.pdf Запретить: /sites/default/files/2019_AC_Diversity_Inclusion_Luncheon.pdf Запретить: / sites / default / files / 2019_AC_Effective_Documentation_0.pdf Запретить: /sites/default/files/2019_AC_Fraud_Detection.pdf Запретить: /sites/default/files/2019_AC_Effective_Supervision_Med_Large.pdf Запретить: /sites/default/files/2019_AC_Enforcement.pdf Запретить: /sites/default/files/2019_AC_Ethical_Culture.pdf Запретить: /sites/default/files/2019_AC_Financial_Operational_Practices.pdf Запретить: /sites/default/files/2019_AC_FINRA_Rule_2210.pdf Запретить: /sites/default/files/2019_AC_FinTech_Wealth_Management.pdf Запретить: / sites / default / files / 2019_AC_FinTech_Trends.pdf Запретить: /sites/default/files/2019_AC_Fixed_Income.pdf Запретить: /sites/default/files/2019_AC_Fraud_Misapppriation.pdf Запретить: /sites/default/files/2019_AC_High-Risk_Activity.pdf Запретить: /sites/default/files/2019_AC_How_FINRA_Rules_Get_Made.pdf Запретить: /sites/default/files/2019_AC_AML_Risks.pdf Запретить: /sites/default/files/2019_AC_Managing_Cybersecurity_Risks_0.pdf Запретить: /sites/default/files/2019_AC_Margin_Requirements.pdf Запретить: / sites / default / files / 2019_AC_Detecting_Preventing_Misconduct.pdf Запретить: /sites/default/files/2019_AC_Mark-Up_Disclosure_Requirements.pdf Запретить: /sites/default/files/2019_AC_Membership_Application_Program.pdf Запретить: /sites/default/files/2019_AC_Mergers_Acquisitions.pdf Запретить: /sites/default/files/2019_AC_Multigenerational_Clients_Staff.pdf Запретить: /sites/default/files/2019_AC_Municipal_Securities.pdf Запретить: /sites/default/files/2019_AC_Navigate_Arbitration_Sm_Firms.pdf Запретить: /sites/default/files/2019_AC_OBAs_PSTs.pdf Запретить: / sites / default / files / 2019_AC_Orientation.pdf Запретить: /sites/default/files/2019_AC_Changes_to_CE_Program.pdf Запретить: /sites/default/files/2019_AC_Registration_Requirements.pdf Запретить: /sites/default/files/2019_AC_Regulatory_Changes.pdf Запретить: /sites/default/files/2019_AC_Regulatory_Exams.pdf Запретить: /sites/default/files/2019_AC_Social_Media.pdf Запретить: /sites/default/files/2019_AC_Suitability_Rule.pdf Запретить: /sites/default/files/2019_AC_Suitability_What_You_Need_to_Know.pdf Запретить: / sites / default / files / 2019_AC_Supervising_Variable_Annuities_Business.pdf Запретить: /sites/default/files/2019_AC_Suspicious_Activity_Monitoring.pdf Запретить: /sites/default/files/2019_AC_Three_Lines_Defense.pdf Запретить: /sites/default/files/2019_AC_Third-Party_Vendors.pdf Запретить: /sites/default/files/2018_CC_CCO_Role.pdf Запретить: /sites/default/files/2018_CC_Cyber_Incident_Response.pdf Запретить: /sites/default/files/2018_CC_Guidance_Small_Firms.pdf Запретить: /sites/default/files/2018_CC_Effective_Practices.pdf Запретить: / sites / default / files / 2018_CC_Keynote_Address.pdf Запретить: /sites/default/files/2019_AC_Welcome_Remarks.pdf Запретить: /sites/default/files/2019_AC_Fireside_Chat.pdf Запретить: /sites/default/files/2019_AC_Compliance_Legal_Trends.pdf Запретить: /sites/default/files/2019_AC_Keynote_Chris_Gardner.pdf Запретить: /sites/default/files/2018_CC_Branch_Controls.pdf Запретить: /sites/default/files/2018_CC_Insight_from_Experts.pdf Запретить: /sites/default/files/2019_AC_Ask_FINRA_Senior_Staff.pdf Запретить: /sites/default/files/2018_CC_Cyber_Attacks.pdf Запретить: / sites / default / files / 2018_CC_Steps_if_Breached.pdf Запретить: / промышленность / видео-вымогателя-сценария реального мира Запретить: /sites/default/files/2018_CC_Welcome.pdf Disallow: / мероприятия-обучение / конференции-мероприятия / get-set-state-Exactiner-Training-2021 Disallow: / мероприятия-обучение / конференции-мероприятия / Get-Set-State-Exxiner-Training-2021 / повестка дня Запретить: /sites/default/files/2021-01/2021_GetSET_On-line_Brochure.pdf Запретить: / арбитраж-посредничество / арбитраж-решения-онлайн Запретить: / правила-руководство / надзор-принудительное применение / finra-disiplinary-actions # Пути (чистые URL) Запретить: / admin / Запретить: / комментарий / ответ / Запретить: / фильтр / советы Запретить: / узел / добавить / Запретить: / поиск / Запретить: / пользователь / регистрация / Запретить: / пользователь / пароль / Запретить: / пользователь / логин / Запретить: / пользователь / выход из системы / # Пути (без чистых URL) Запретить: / index.php / admin / Запретить: /index.php/comment/reply/ Запретить: /index.php/filter/tips Запретить: /index.php/node/add/ Запретить: /index.php/search/ Запретить: /index.php/user/password/ Запретить: /index.php/user/register/ Запретить: /index.php/user/login/ Запретить: /index.php/user/logout/ Запретить: /index.php/*

Как Google интерпретирует спецификацию robots.txt | Центр поиска

Автоматизированный краулеры поддерживают Протокол исключения роботов (REP).Это означает, что перед сканированием сайта сканеры Google загружают и анализируют Файл robots.txt для извлечения информации о том, какие части сайта можно сканировать. REP неприменимо к сканерам Google, которые контролируются пользователями (например, фид подписок) или поисковые роботы, которые используются для повышения безопасности пользователей (например, вредоносное ПО анализ).

Что такое файл robots.txt

Если вы не хотите, чтобы сканеры получали доступ к разделам вашего сайта, вы можете создать файл robots.txt. с соответствующими правилами. Файл robots.txt — это простой текстовый файл, содержащий правила, в отношении которых сканеры могут получить доступ к каким частям сайта.

Местоположение файла и срок действия

Вы должны поместить файл robots.txt в каталог верхнего уровня сайта на поддерживаемом протокол. В случае поиска Google поддерживаемые протоколы: HTTP, HTTPS и FTP. По HTTP и HTTPS сканеры получают файл robots.txt с помощью HTTP безусловный запрос GET ; на FTP сканеры используют стандартный RETR (RETRIEVE) команда с использованием анонимного входа в систему.

Правила, указанные в файле robots.txt применяется только к хосту, протоколу и номеру порта где размещен файл robots.txt.

Примеры действительных URL-адресов robots.txt

Обработка ошибок и кодов состояния HTTP

При запросе файла robots.txt код статуса HTTP ответа сервера влияет на то, как файл robots.txt будет использоваться поисковыми роботами Google.

Кэширование

Google обычно кэширует содержимое файла robots.txt на срок до 24 часов, но может кэшировать его. дольше в ситуациях, когда обновление кэшированной версии невозможно (например, из-за таймауты или ошибки 5xx ). Кешированный ответ может использоваться разными сканерами. Google может увеличивать или уменьшать время жизни кеша в зависимости от max-age Cache-Control Заголовки HTTP.

Формат файла

Роботы.txt должен быть Простой текст в кодировке UTF-8 файл и строки должны быть разделены символами CR , CR / LF или LF .

Google игнорирует недопустимые строки в файлах robots.txt, включая Unicode. Знак порядка байтов (BOM) в начале файла robots.txt и используйте только допустимые строки. Например, если загруженный контент представляет собой HTML, а не правила robots.txt, Google попытается проанализировать контент и извлекать правила, а все остальное игнорировать.

Точно так же, если кодировка файла robots.txt отличается от UTF-8, Google может игнорировать символы, не входящие в диапазон UTF-8, потенциально могут отображать правила robots.txt инвалид.

В настоящее время Google применяет ограничение на размер файла robots.txt, равное 500. кибибайт (KiB). Содержание после того, как максимальный размер файла игнорируется. Вы можете уменьшить размер файла robots.txt файл, объединив директивы, которые могут привести к слишком большому размеру файла robots.txt файл. Для Например, поместите исключенный материал в отдельный каталог.

Синтаксис

Допустимые строки robots.txt состоят из поля, двоеточия и значения. Пробелы необязательны, но рекомендуется для улучшения читаемости. Пробел в начале и в конце строки равен игнорируется. Чтобы включить комментарии, поставьте перед комментарием символ # . Держать в Имейте в виду, что все, что находится после символа # , будет проигнорировано.Общий формат <поле>: <значение> <# необязательный-комментарий> .

Google поддерживает следующие поля:

• агент пользователя : определяет, к какому искателю применяются правила.
• разрешить : путь URL-адреса, который можно сканировать.
• запретить : путь URL, сканирование которого невозможно.
• карта сайта : полный URL карты сайта.

Поля allow и disallow также называются директивами . Эти директивы всегда указываются в виде Директива : [путь] , где [путь] является необязательным. По умолчанию нет ограничения на сканирование для указанных сканеров. Сканеры игнорируют директивы без [путь] .

Значение [путь] , если указано, относится к корню веб-сайта, откуда роботы.txt был получен (с использованием того же протокола, номера порта, имени хоста и домена). Значение пути должно начинаться с / для обозначения корня, а значение — с учетом регистра. Узнать больше о Соответствие URL-адресов на основе значений пути.

Строка пользовательского агента определяет, к каким правилам искателя применяются. Видеть Сканеры Google и строки пользовательского агента для получения исчерпывающего списка строк пользовательского агента, которые вы можете использовать в своих файлах robots.txt файл.

Значение строки пользовательского агента нечувствительно к регистру.

Директива disallow указывает пути, к которым не должны обращаться сканеры. идентифицированная строкой user-agent, с которой сгруппирована директива disallow . Сканеры игнорируют директиву без пути.

Значение директивы disallow чувствительно к регистру.

использование:

запретить: [путь]
 

Директива allow определяет пути, к которым могут получить доступ указанные краулеры. Если путь не указан, директива игнорируется.

Значение директивы allow чувствительно к регистру.

использование:

разрешить: [путь]
 

Google, Bing и другие основные поисковые системы поддерживают поле карты сайта в robots.txt, как определено sitemaps.org.

Значение поля карты сайта чувствительно к регистру.

использование:

карта сайта: [absoluteURL] 

Строка [absoluteURL] указывает на расположение файла карты сайта или файла индекса карты сайта.Это должен быть полный URL-адрес, включая протокол и хост, и не обязательно В кодировке URL. URL-адрес не обязательно должен находиться на том же хосте, что и файл robots.txt. Ты можешь укажите несколько полей карты сайта . Поле карты сайта не привязано к какому-либо конкретному пользовательский агент, и за ним могут следить все сканеры, если он не запрещен для сканирования.

Например:

пользовательский агент: otherbot
запретить: / капуста

карта сайта: https://example.com/sitemap.xml
карта сайта: https://cdn.example.org/other-sitemap.xml
карта сайта: https://ja.example.org/ テ ス ト - サ イ ト マ ッ プ .xml 

Группировка строк и правила

Вы можете сгруппировать правила, которые применяются к нескольким пользовательским агентам, повторяя пользовательского агента строк для каждого поискового робота.

Например:

пользовательский агент: a
запретить: / c

пользовательский агент: b
запретить: / d

пользовательский агент: e
пользовательский агент: f
запретить: / г

пользовательский агент: h
 

В этом примере есть четыре отдельные группы правил:

• Одна группа для пользовательского агента «а».
• Одна группа для пользовательского агента «b».
• Одна группа для пользовательских агентов «e» и «f».
• Одна группа для пользовательского агента «h».

Техническое описание группы см. раздел 2.1 РЭП.

Порядок приоритета для пользовательских агентов

Для конкретного поискового робота действительна только одна группа. Сканеры Google определяют правильный группу правил, найдя в файле robots.txt группу с наиболее конкретным пользовательским агентом который соответствует пользовательскому агенту поискового робота.Остальные группы игнорируются. Весь несоответствующий текст игнорируются (например, googlebot / 1.2 и googlebot * являются эквивалент googlebot ). Порядок групп в файле robots.txt: не имеющий отношения.

Если для определенного пользовательского агента объявлено несколько групп, все правила из группы, применимые к конкретному пользовательскому агенту, внутренне объединяются в одну группу.

Примеры

Сопоставление

пользовательский агент: googlebot-news
(группа 1)

пользовательский агент: *
(группа 2)

пользовательский агент: googlebot
(группа 3)
 

Вот как поисковые роботы выбирают соответствующую группу:

Группировка правил

Если в файле robots.txt есть несколько групп, относящихся к определенному пользовательскому агенту, Сканеры Google внутренне объединяют группы. Например:

пользовательский агент: googlebot-news
запретить: / рыба

пользовательский агент: *
запретить: / морковь

пользовательский агент: googlebot-news
запретить: / креветка
 

Сканеры внутренне группируют правила на основе пользовательского агента, например:

пользовательский агент: googlebot-news
запретить: / рыба
запретить: / креветка

пользовательский агент: *
запретить: / морковь
 

Соответствие URL-адресов на основе значений пути

Google использует значение пути в директивах allow и disallow как основа для определения того, применяется ли правило к определенному URL-адресу на сайте.Это работает сравнение правила с компонентом пути URL-адреса, который поисковый робот пытается получить. Не 7-битные символы ASCII в пути могут быть включены как символы UTF-8 или как экранированные с помощью процентов Символов в кодировке UTF-8 на RFC 3986.

Google, Bing и другие основные поисковые системы поддерживают ограниченную форму подстановочных знаков для значения пути. Эти:

• * обозначает 0 или более экземпляров любого допустимого символа.
• $ обозначает конец URL-адреса.

Порядок приоритетности правил

При сопоставлении правил robots.txt с URL-адресами сканеры используют наиболее конкретное правило на основе длина его пути. В случае противоречивых правил, в том числе с использованием подстановочных знаков, Google использует наименее ограничительное правило.

Следующие примеры демонстрируют, какое правило поисковые роботы Google будут применять к заданному URL-адресу.

 разрешить: / p
запретить: / 

 разрешить: / папка
запретить: / папка 

 разрешить: / страница
запретить: /*.htm 

 разрешить: / страница
запретить: / *.ph 

 разрешить: / $
запретить: / 

 разрешить: / $
запретить: / 

# # robots.txt # # Этот файл предназначен для предотвращения сканирования и индексации определенных частей # вашего сайта поисковыми роботами и пауками, управляемыми такими сайтами, как Yahoo! # и Google.Сообщая этим «роботам», куда нельзя заходить на вашем сайте, # вы экономите трафик и ресурсы сервера. # # Этот файл будет проигнорирован, если он не находится в корне вашего хоста: # Используется: http://example.com/robots.txt # Игнорируется: http://example.com/site/robots.txt # # Дополнительную информацию о стандарте robots.txt см. В следующих статьях: # http://www.robotstxt.org/robotstxt.html Пользовательский агент: * # CSS, JS, изображения Разрешить: /core/*.css$ Разрешить: /core/*.css? Разрешить: /core/*.js$ Разрешить: /core/*.js? Разрешить: /core/*.gif Разрешить: / core / *.jpg Разрешить: /core/*.jpeg Разрешить: /core/*.png Разрешить: /core/*.svg Разрешить: /profiles/*.css$ Разрешить: /profiles/*.css? Разрешить: /profiles/*.js$ Разрешить: /profiles/*.js? Разрешить: /profiles/*.gif Разрешить: /profiles/*.jpg Разрешить: /profiles/*.jpeg Разрешить: /profiles/*.png Разрешить: /profiles/*.svg # Каталоги Запретить: / core / Запретить: / profiles / # Файлов Запретить: /README.txt Запретить: /web.config # Пути (чистые URL) Запретить: / admin / Запретить: / back_office_utilisateur / Запретить: / комментарий / ответ / Запретить: / фильтр / советы Запретить: / узел / добавить / Запретить: / поиск / Запретить: / recherche / Запретить: / пользователь / регистрация / Запретить: / tableau_de_bord_utilisateur / register / Запретить: / пользователь / пароль / Запретить: / tableau_de_bord_utilisateur / пароль / Запретить: / пользователь / логин / Запретить: / tableau_de_bord_utilisateur / войти / Запретить: / пользователь / выход из системы / Запретить: / tableau_de_bord_utilisateur / logout / Запретить: / mon-compte / Запретить: / mon-espace-staff / Запретить: / предпочтения / Запретить: / utilisateur-bloque / Запретить: / compte-inactif / # Пути (без чистых URL) Запретить: / index.php / admin / Запретить: /index.php/back_office_utilisateur/ Запретить: /index.php/comment/reply/ Запретить: /index.php/filter/tips Запретить: /index.php/node/add/ Запретить: /index.php/search/ Запретить: /index.php/recherche/ Запретить: /index.php/user/password/ Запретить: /index.php/tableau_de_bord_utilisateur/password/ Запретить: /index.php/user/register/ Запретить: /index.php/tableau_de_bord_utilisateur/register/ Запретить: /index.php/user/login/ Запретить: /index.php/tableau_de_bord_utilisateur/login/ Запретить: / index.php / пользователь / выход из системы / Запретить: /index.php/tableau_de_bord_utilisateur/logout/ Запретить: /index.php/mon-compte/ Запретить: /index.php/mon-espace-personnel/ Запретить: /index.php/preferences/ Запретить: /index.php/utilisateur-bloque/ Запретить: /index.php/compte-inactif/

Пользовательский агент: PowerMapper Позволять: / Пользовательский агент: * # # # # robots.txt # # # # Этот файл предназначен для предотвращения сканирования и индексации определенных частей # # вашего сайта поисковыми роботами и пауками, управляемыми такими сайтами, как Yahoo! # # и Google.Сообщая этим «роботам», куда нельзя заходить на вашем сайте, # # вы экономите трафик и ресурсы сервера. # # # # Этот файл будет проигнорирован, если он не находится в корне вашего хоста: # # Используется: http://example.com/robots.txt # # Игнорируется: http://example.com/site/robots.txt # # # # Дополнительную информацию о стандарте robots.txt см. В следующих статьях: # # http://www.robotstxt.org/robotstxt.html # User-agent: * # # CSS, JS, изображения # Разрешить: /core/*.css$ # Разрешить: /core/*.css? # Разрешить: /core/*.js$ # Разрешить: /core/*.js? # Разрешить: / core / *.гифка # Разрешить: /core/*.jpg # Разрешить: /core/*.jpeg # Разрешить: /core/*.png # Разрешить: /core/*.svg # Разрешить: /profiles/*.css$ # Разрешить: /profiles/*.css? # Разрешить: /profiles/*.js$ # Разрешить: /profiles/*.js? # Разрешить: /profiles/*.gif # Разрешить: /profiles/*.jpg # Разрешить: /profiles/*.jpeg # Разрешить: /profiles/*.png # Разрешить: /profiles/*.svg # # Каталоги Запретить: / core / Запретить: / profiles / # # Файлы Запретить: /README.txt Запретить: /web.config # # Пути (чистые URL) Запретить: / admin / Запретить: / комментарий / ответ / Запретить: / комментарий / * Запретить: / фильтр / советы Запретить: / узел / добавить / Запретить: / поиск / Запретить: / пользователь / регистрация / Запретить: / пользователь / пароль / Запретить: / пользователь / логин / Запретить: / пользователь / выход из системы / # # Пути (без чистых URL) Запретить: / index.php / admin / Запретить: /index.php/comment/reply/ Запретить: /index.php/filter/tips Запретить: /index.php/node/add/ Запретить: /index.php/search/ Запретить: /index.php/user/password/ Запретить: /index.php/user/register/ Запретить: /index.php/user/login/ Запретить: /index.php/user/logout/ # # Ловушки параметров Запретить: / blog? Disallow: / library? Disallow: / events? Disallow: / results-stories? Запретить: / новости / все? Disallow: / infographics? Запретить: * / узел / Запретить: * / users / Disallow:? Комбинировать # # Блокировать динамический контент Запретить: * / blog? * Запретить: * / library? * Запретить: * / events? * Disallow: * / results-stories? * Запретить: * / news / all? * Disallow: * / infographics? * Запретить: * / узел / Запретить: * / users / Disallow: *? Комбинировать * Запретить: * / search / site? * Запретить: * / subscribe / 0? Cid = * # End

# # роботов.текст # # Этот файл предназначен для предотвращения сканирования и индексации определенных частей # вашего сайта поисковыми роботами и пауками, управляемыми такими сайтами, как Yahoo! # и Google. Сообщая этим «роботам», куда нельзя заходить на вашем сайте, # вы экономите трафик и ресурсы сервера. # # Этот файл будет проигнорирован, если он не находится в корне вашего хоста: # Используется: http://example.com/robots.txt # Игнорируется: http://example.com/site/robots.txt # # Для получения дополнительной информации о файле robots.txt, см .: # http://www.robotstxt.org/robotstxt.html Пользовательский агент: * # Crawl-delay: 10 # CSS, JS, изображения Разрешить: /misc/*.css$ Разрешить: /misc/*.css? Разрешить: /misc/*.js$ Разрешить: /misc/*.js? Разрешить: /misc/*.gif Разрешить: /misc/*.jpg Разрешить: /misc/*.jpeg Разрешить: /misc/*.png Разрешить: /modules/*.css$ Разрешить: /modules/*.css? Разрешить: /modules/*.js$ Разрешить: /modules/*.js? Разрешить: /modules/*.gif Разрешить: /modules/*.jpg Разрешить: / modules / *.jpeg Разрешить: /modules/*.png Разрешить: /profiles/*.css$ Разрешить: /profiles/*.css? Разрешить: /profiles/*.js$ Разрешить: /profiles/*.js? Разрешить: /profiles/*.gif Разрешить: /profiles/*.jpg Разрешить: /profiles/*.jpeg Разрешить: /profiles/*.png Разрешить: /themes/*.css$ Разрешить: /themes/*.css? Разрешить: /themes/*.js$ Разрешить: /themes/*.js? Разрешить: /themes/*.gif Разрешить: /themes/*.jpg Разрешить: /themes/*.jpeg Разрешить: /themes/*.png # Каталоги Disallow: / включает / Disallow: / de / includes / Запретить: / misc / Запретить: / de / misc / #Disallow: / modules / Запретить: / de / modules / Запретить: / profiles / Запретить: / de / profiles / Запретить: / scripts / Запретить: / de / scripts / Запретить: / themes / Запретить: / de / themes / # Файлов Запретить: / CHANGELOG.текст Запретить: /cron.php Запретить: /INSTALL.mysql.txt Запретить: /INSTALL.pgsql.txt Запретить: /INSTALL.sqlite.txt Запретить: /install.php Запретить: /INSTALL.txt Запрещено: /LICENSE.txt Запретить: /MAINTAINERS.txt Запретить: /update.php Запретить: /UPGRADE.txt Запретить: /xmlrpc.php Запретить: / файл * # Пути (чистые URL) Запретить: / admin / Запретить: / de / admin / Запретить: / комментарий / ответ / Запретить: / filter / tips / Запретить: / выйти из системы / Запретить: / узел / добавить / Запретить: * / node / * Запретить: / поиск / Запретить: / de / search / Запретить: / пользователь / регистрация / Запретить: / de / user / register / Запретить: / пользователь / пароль / Запретить: / де / пользователь / пароль / Запретить: / пользователь / логин / Запретить: / пользователь / выход из системы / Запретить: / de / user / login / # Пути (без чистых URL) Запретить: / *? Q = * Запретить: /? Q = admin / Запретить: /? Q = комментарий / ответ / Запретить: /? Q = filter / tips / Запретить: /? Q = выйти / Запретить: /? Q = узел / добавить / Запретить: /? Q = search / Запретить: /? Q = пользователь / пароль / Запретить: /? Q = пользователь / регистрация / Запретить: /? Q = пользователь / логин / Запретить: /? Q = пользователь / выход из системы / #увеличение Запретить: / boost_stats.php # Возможные повторяющиеся URL Disallow: / * отчеты о результатах? * Запретить: / * asmSelect * Disallow: / *? Порядок * Disallow: / * tid * Disallow: / *? Quicktabs * Disallow: / *? Имя * Запретить: / пользователь / Запретить: / de / user / Запретить: / пользователь и пункт назначения * Запретить: / de / пользователь и пункт назначения * Запретить: / printmail / Запретить: / de / printmail / Запретить: / print / Запретить: / de / print / Запретить: / printpdf / Запретить: / de / printpdf / Запрещено: / инвесторы / годовые отчеты / indian-gapp-2005-06? Page = 1 Disallow: / de / investments / Annual-reports / indian-gapp-2005-06? Page = 1 Disallow: / инвесторы / годовые отчеты / годовой отчет-2001-02? Page = 1 Disallow: / de / investments / Annual-reports / Annual-report-2001-02? Page = 1 Запретить: / webinars / enterprise-application-services / webinar-tibco-amp-hcl? Page = 1 Запретить: / de / webinars / enterprise-application-services / webinar-tibco-amp-hcl? Page = 1 Disallow: / инвесторы / квартальные результаты / второй квартал-фг-2oo8-09? Page = 1 Disallow: / de / invest / квартальные результаты / второй квартал-fy-2oo8-09? Page = 1 Disallow: / устойчивого развития / награды-признание? Page = 1 Запретить: / инвесторам / расшифровки стенограммы разговора / hcl-technologies-limited-q1-2009-конференц-звонок? Page = 1 Запретить: / de / invest / расшифровка стенограммы разговора / hcl-technologies-limited-q1-2009-Conference-call? Page = 1 Disallow: / инвесторы / квартальные результаты / результаты второго квартала-fy-2000-01? Page = 1 Disallow: / de / invest / квартальные результаты / результаты второго квартала-fy-2000-01? Page = 1 Disallow: / инвесторы / годовые отчеты / годовой отчет-2004-05? Page = 1 Disallow: / de / investments / Annual-reports / Annual-report-2004-05? Page = 1 Запретить: / устойчивого развития / обзора? Page = 1 Запретить: / de /ustainability / overview? Page = 1 Запретить: / webinars / enterprise-transformation-services / scor? Page = 1 Запретить: / de / webinars / enterprise-transformation-services / scor? Page = 1 Disallow: / инвесторы / квартальные результаты / третий квартал-фг-2oo4-o5? Page = 1 Disallow: / de / invest / квартальные результаты / третий квартал-fy-2oo4-o5? Page = 1 Disallow: / инвесторы / квартальные результаты / третий квартал-фг-2oo1-o2? Page = 1 Disallow: / de / invest / квартальные результаты / третий квартал-fy-2oo1-o2? Page = 1 Запретить: / инвесторы / корпоративное управление-hcl? Page = 1 Disallow: / de / invest / корпоративное управление-hcl? Page = 1 Запретить: / webinars / mainframe-amp-midrange-services / leverage-legacy? Page = 1 Запретить: / de / webinars / mainframe-amp-midrange-services / leverage-legacy? Page = 1 Disallow: / инвесторы / квартальные результаты / третий квартал-фг-2oo6-o7? Page = 1 Запретить: / webinars / enterprise-transformation-services / deriving-maximum-roi-your-crm-Initiative? Page = 1 Disallow: / инвесторы / квартальный-отчет-корпоративное управление / квартал-июнь-30-2011-0? Page = 1 Disallow: / инвесторы / годовые отчеты / годовой отчет-1998-99? Page = 1 Disallow: / инвесторы / квартальные результаты / первый квартал-фг-2oo8-09? Page = 1 Disallow: / инвесторы / квартальные результаты / четвертый квартал и годовые-результаты-fy-2001-02? Page = 1 Disallow: / инвесторы / квартальные результаты / первый квартал-фг-2oo2-03? Page = 1 Disallow: / инвесторы / годовые отчеты / годовой отчет-2002-03? Page = 1 Disallow: / видео-галерея / устойчивость / обзор Disallow: / инвесторы / квартальные результаты / третий квартал-фг-2oo2-o3? Page = 1 Disallow: / инвесторы / квартальные результаты / третий квартал-фг-2oo8-09? Page = 1 Disallow: / инвесторы / квартальные результаты / первый квартал-фг-2oo1-02? Page = 1 Disallow: / инвесторы / квартальные результаты / второй квартал-фг-2oo7-08? Page = 1 Запретить: / пресс-релизы / корпоративные приложения-сервисы / hcl-technologies-дальше-усиливает-свое-программное обеспечение-qua? Page = 1 Disallow: / инвесторы / квартальные результаты / первый квартал-фг-2oo5-06? Page = 1 Disallow: / инвесторы / годовые отчеты / indian-gapp-2009-2010? Page = 1 Disallow: / инвесторы / квартальные результаты / третий квартал-фг-2oo3-o4? Page = 1 Запретить: / устойчивость / перебалансировать / выявление-возможности-взаимодействия с заинтересованными сторонами? Page = 1 Disallow: /ustainability / rebalance? Page = 1 Disallow: / инвесторы / квартальные результаты / третий квартал-фг-2oo0-o1? Page = 1 Disallow: / устойчивого развития / погашения-общества? Page = 1 Disallow: / инвесторы / квартальные результаты / второй квартал-фг-2oo6-o7? Page = 1 Запретить: / webinars / retail-amp-consumer / unleash-power-your-consumer-portal? Page = 1 Запретить: / устойчивость / новое определение-рабочее место? Page = 1 Disallow: / инвесторы / квартальные результаты / четвертый квартал-amp-годовые-результаты-fy-2000-01? Page = 1 Запрещено: / инвесторы / годовые отчеты / indian-gapp-2007-08? Page = 1 Disallow: / инвесторы / годовые отчеты / годовой отчет-2000-01? Page = 1 Disallow: / инвесторы / квартальный отчет о корпоративном управлении / квартал, завершившийся 30 сентября 2011 г.? Page = 1 Disallow: / инвесторы / квартальный отчет о корпоративном управлении / квартал, завершившийся 31 декабря 2011 г.? Page = 1 Запретить: / webinars / retail-amp-consumer / price-or-not-price? Page = 1 Disallow: / инвесторы / квартальные результаты / результаты первого квартала-2011-2012? Page = 1 Disallow: / инвесторы / квартальные результаты / первый квартал-фг-2oo6-o7? Page = 1 Disallow: / инвесторы / квартальные результаты / результаты второго квартала-fy-2001-02? Page = 1 Запретить: / инвесторы / результаты-отчеты? Field_financial_year_value_many_to_one = 1998-99% 20 Запретить: / инвесторы / годовые отчеты / us-gapp-0? Page = 1 Disallow: / инвесторы / квартальные результаты / первый квартал-фг-2oo4-05? Page = 1 Disallow: / about-us / лидерство / устойчивость / обзор Запретить: / вебинары / независимая-проверка-amp-валидация-тестирование / test-factory-box-0 Запретить: / устойчивость / переопределение-рабочее место / декодирование-индивидуальность-и-раскрытие-их-потенциала? Page = 1 Запретить: / инвесторам / годовой-отчет о корпоративном управлении / отчет о корпоративном управлении-fy09-10-0? Page = 1 Запретить: / webinars / mainframe-amp-midrange-services / hcl-micro-focus-mainframe-re-hosting-solution? Page = 1 Запрещено: / инвесторы / дочерние компании-financials / hcl-spain? Page = 1 Disallow: / устойчивого развития / лидерства-укусов? Page = 1 Запретить: / устойчивого развития / ответственного бизнеса? Page = 1 Disallow: / инвесторы / годовые отчеты / indian-gapp-0? Page = 1 Disallow: / инвесторы / квартальные результаты / третий квартал-фг-2oo7-08? Page = 1 Disallow: / инвесторы / квартальный отчет о корпоративном управлении / квартал-декабрь-2010-0? Page = 1 Запрещение: / устойчивость / возобновление-экосистема? Page = 1 Запретить: / white-paper / cloud-computing / navigating-clouds-tools-you-can-use? Page = 1 Запретить: / Investors / Annual-reports / auditors-report? Page = 1 Disallow: / инвесторы / годовые отчеты / годовой отчет-2006-07? Page = 1 Disallow: / инвесторы / квартальные результаты / первый квартал-фг-2oo7-o8? Page = 1 Запретить: / webinars / retail-amp-consumer / virtual-Mobility-coe-% E2% 80% 93-vital-extension-your-enterprise? Page = 1 Disallow: / инвесторы / квартальный отчет о корпоративном управлении / квартал-март-2011-0? Page = 1 Disallow: / инвесторы / годовые отчеты / us-gaap? Page = 1 Запрещено: / инвесторы / годовой-отчет о корпоративном управлении / отчет о корпоративном управлении-fy10-11? Page = 1 Запретить: / инвесторам / дочерним компаниям-финансам / о-нас / партнерским-альянсам Запретить: / about-us / awards-признания? Page = 1 Disallow: /ustainability / ceo-statement? Page = 1 Запретить: / инвесторам / годовым отчетам / us-gaap-notes-account? Page = 1 Disallow: / инвесторы / квартальные результаты / первый квартал-фг-2oo3-04? Page = 1 Disallow: / инвесторы / квартальные результаты / результаты первого квартала-2000-01? Page = 1 Запретить: / устойчивость / устойчивость-стол? Page = 1 Disallow: / инвесторы / годовые отчеты / годовой отчет-2003-04? Page = 1 Disallow: / инвесторы / годовые отчеты / годовой отчет-1999-00? Page = 1 Запрещено: / pdf / HCL% 20to% 20provide% 20Enterprise-wide% 20IT% 20solution%.. Disallow: / pdf / HCL% 20Brand% 20Campaign% 20Talking% 20Nu .. Disallow: / media-entertainment /% E2% 80% 8B-историй успеха / 7 Запрещено: *? Q = инвесторам / годовым отчетам / дочерним компаниям-финансам / pdf / Axon_Solutions_Sdn._Bhd..pdf Запрещено: /germany/Handel-und-Konsumg%FCter.asp Disallow: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/6_HCl*Gmbh*Audited*Financials*2009-10*.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/53_*HCL*Mexico*Financials_Dec*2009.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/52_*HCL*Argentina*financial*.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/51_HCL_Latin*America_30062010.pdf Disallow: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/50_*HCL*Hungary*Limited*Signed*212*June*2010.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/47_HCL*Axon*Ltd…pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/46_*HCL*EAS*Limited*2009-10*Signed.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/45_HCL*Canada_June*2010.pdf Disallow: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/44_HCL*Insurance*BPO*Financials*June*10.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/43_*AXON*EBT*Trustee*Signed*.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/41_Axon*Solution*Schweiz*Gmbh.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/4_*HCL*Sweden*AB*Signed*2009-10*Swedish*.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/4_*HCL*Sweden*AB*Signed*2009-10*English*.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/39_Axon*Solution**Canada**Inc..pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/37_Aspire*Solutions*Sdn*Bhd*June*2010.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/36_*JSP*Consulting*Sdn*Bhd*June*2010.pdf Запретить: / index.php? q = инвесторы / годовые-отчеты / дочерние-финансовые / pdf / 34_ * Axon * Solutions * Сингапур * — * июнь * 2010.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/31_Axon*Solutions*Limited.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/30_Bywater*Limited.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/28_Axon*Group*Limited.pdf Disallow: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/24_HCL*Poland*212*Financials*FY*2009-10.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/23_HCL_Technopark_financials_June_10*Mgt_Signed_only*.pdf Запретить: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/22*HCL*EAI*Services*Limited.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/20_HCL*Singapore*Pte*Ltd..pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/19_*HCL_Jones*LLC*June*2010.pdf Запретить: / index.php? q = инвесторам / годовым отчетам / дочерним компаниям-финансам / pdf / 17_HCL * BPO * Services *** NI * .pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/12_*HCL*Japan*Signed*212*June*2010.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/10_*HCL**New*Zealand**Limited*Financials*June*2010.pdf Запрещено: /index.php?q=investors/annual-reports/subsidiaries-financials/pdf/1_HCL*Bermuda_June*2010.pdf Запретить: /index.php?q=germany/*brootpath*hcl-wins-smart-work-place-awards.pdf Запретить: /index.php?q=France*Benelux/*-wins-smart-work-place-awards.pdf Запретить: /France*Benelux/RSS-feed.asp Запрещено: /brasil/Servi*os-financeiros.asp Запретить: /brasil/*Ancias-da-Vida-Cuidados-de-Sa*.asp Disallow: / automotive / success-stories / Hi-fi * Car * Audio * .. Disallow: /app .. Запретить: /*rootpath+*hcl-wins-smart-work-place-awards.pdf Запретить: / nodequeue / * Запретить: * / registrations / * Запретить: * / register / webinar / * Запретить: / tagadelic / * Запретить: / tagclouds / * # Лидерские бизнес-страницы Запретить: / лидерство-бизнес-страницы / * # Профилей спикеров Запретить: / профили-громкоговорители / * # События Запретить: / events / * / * / * Запретить: / de / events / * / * / * # Вебинары Запретить: / вебинары / * / * / * Запретить: / de / webinars / * / * / * # Ресурсы Запретить: / resources / * / * Запретить: / de / resources / * / * # СМИ Запретить: / media / * / * Запретить: / de / media / * / * # Видео Запретить: / видео-галерея / * / * Запретить: / de / video-gallery / * / * # Инвесторы Запрещено: / инвесторы / * / * Disallow: / de / investments / * / * # Карьера Disallow: / careers / job-list / all-jobs? * Запретить: / de / careers / job-list / all-jobs? * # Вакансии Запретить: / jobs / * / * Запретить: / de / jobs / * / * #О нас Запретить: / about-us / Leadership / * / * Запретить: / about-us / корпоративное управление / * / * Disallow: / about-us / awards-признания / * / * Запретить: / socially-ответственный-бизнес / * / * / * Disallow: / about-us / partnerships-alliances / * # EmployeesFirst Запретить: / EmployeesFirst / * / * Запретить: / de / EmployeesFirst / * / * # Аналитики Запретить: / analyst / * / * / * Запретить: / de / analyst / * / * / * # ВЭФ Запретить: / hcl-wef / * / * Запретить: / de / hcl-wef / * / * # События Запретить: / События / * / * / * Запретить: / de / Events / * / * / * # Вебинары Запретить: / Вебинары / * / * / * Запретить: / de / Webinars / * / * / * # Ресурсы Запретить: / Resources / * / * Запретить: / de / Resources / * / * # СМИ Запретить: / Media / * / * Запретить: / de / Media / * / * # Видео Запретить: / Видео-галерея / * / * Запретить: / de / Video-gallery / * / * # Инвесторы Disallow: / Investors / * / * Disallow: / de / Investors / * / * # Вакансии Запретить: / Jobs / * / * Запретить: / de / Jobs / * / * # Groundswell Disallow: / Groundwell2012 * #О нас Запретить: / О нас / руководство / * / * Запретить: / О нас / корпоративное управление / * / * Disallow: / О нас / награды-признание / * / * Запретить: / Социально-ответственный-бизнес / * / * / * Disallow: / About-us / partnerships-alliances / * # Переднее слайд-шоу Disallow: / слайд-1-rbtc Запрещение: / нулевые инциденты Disallow: / cio-ceo-0 Disallow: / no-application-management-0 # Аналитики Запретить: / Analyst / * / * / * Запретить: / de / Analyst / * / * / * # ВЭФ Запретить: / Hcl-wef / * / * Запретить: / de / Hcl-wef / * / * # CS кампания Запретить: / CS-RC / * # Кампания Идеатон Disallow: / blogs / ideathon-2012 / * Disallow: / blogs / ideathon-2012 # Раздел наград Webby Запретить: / webby-awards Запретить: / webby-awards / * # Английские страницы на немецком языке.Запретить: / de / resources * Запретить: / де / ресурсы Запретить: / de / media * Запретить: / de / media Запретить: / de / jobs * Запретить: / de / jobs Запретить: / de / events * Запретить: / de / events Запретить: / de / webinars * Запретить: / de / webinar Disallow: / de / analyst * Запретить: / de / analyst #block taxonomy Запретить: / taxonomy / * Запретить: / de / taxonomy / * Запретить: / блоги / теги * Disallow: / *? Назначение * Запретить: / de / blogs * Запрещено: www.hcltech.com/gartner-campaign Карта сайта: https://www.hcltech.com/sitemap-index.xml Карта сайта: https://www.hcltech.com/sitemap.xml Карта сайта: https://www.hcltech.com/sitemap-video.xml Карта сайта: https://www.hcltech.com/sitemap-image.xml Карта сайта: https://www.hcltech.com/sitemap-ssl.xml # 404 Disallow: / 404 Запретить: / site -hancement-personalization Запретить: / site -hancement-rbtc-branch-align Запретить: / the-rbtc-contract Запретить: / web-Intelligence Disallow: / mobile-responseive-features Disallow: / seo-case-study Disallow: / сайт-миллиард долларов Disallow: / aMileForHer-Creativity Запретить: / aMileForHer-Measurement Запретить: / aMileForHer-Outcome Запретить: / aMileForHer Запретить: / HCLShortCutsToSuccess Запретить: / ремаркетинг Disallow: / women-lead-australia. Disallow: / SMS-Activity # Hybridauth Disallow: / hybridauth * Запретить: / de / hybridauth * Запретить: / кого-это-может-беспокоить Disallow: / hcl-technologies-release-form-customer-stories Запрещено: / hcl-india Запретить: / история успеха / системная интеграция / hcls-расширенная-аналитика-решение-улучшает-клиента Запретить: / sites / default / files / resources / success_story / files / 2015/02/16 / cpg_2.pdf Запретить: /sites/default/files/usaa_case_study.pdf Запретить: / успешная-история / аутсорсинг-бизнес-процессов / hcl-бизнес-услуги-тематическое-исследование-потребительские-кредиты-андеррайтинг-сервис Запретить: / blogs / idea-blogs / are-you-21st-Century-technology-professional Запретить: /sites/default/files/is_your_bank_future_ready_0.pdf Запретить: /sites/default/files/article_by_nikhil_and_sathya_dare_to_be_different_-new_ways_to_communicate_with_customers.pdf Запретить: / sites / default / files / bfsi-analyst_day_boston_dec_2010.pdf Запретить: /sites/default/files/Bank_of_America_V3.pdf Запретить: /sites/default/files/a_fortune_200_insurer_aligns_its_it_metrics_with_business_objective_with_the_help_of_hcls_infra_services.pdf Запретить: / getajob * Disallow: / dryice-bak Disallow: / * bak-123 * Запретить: / beta -yondigital * Разрешить: / campaign / farnborough-international-airshow-2016 Разрешить: / campaign / iot-page / Disallow: / unique-id-form Запретить: / блоги / профиль / anantg Disallow: / нидерланды Disallow: / france Disallow: / belgium Disallow: / швейцария Disallow: / germany Disallow: / brazil Disallow: / united-arab-emirates Disallow: / саудовская аравия Disallow: / прямой разговор Disallow: / оставаться на связи-события * Запретить: / оставаться на связи-события Запретить: / согласие-данные-история Запретить: / согласие-данные-история * Disallow: / оставаться на связи Disallow: / оставаться на связи-3-бак-123 Запретить: / uk-sa-stayconnected Запретить: / dach-sa-stayconnected Запретить: / nordics-sa-stayconnected Disallow: / eu-sa-stayconnected Disallow: / оставаться на связи * Disallow: / оставаться на связи-3-бак-123 * Запретить: / uk-sa-stayconnected * Запретить: / dach-sa-stayconnected * Запретить: / nordics-sa-stayconnected * Disallow: / eu-sa-stayconnected * Запретить: / подписаться Disallow: / подписаться * Запретить: / support / ticket-report / qulc Запретить: / support / ticket-report / dc Запретить: / pdf-viewer-pdf-upload Запретить: / media / press_release / прогнозные заявления Запрещение: / промежуточный путь Запретить: / zh-hant / промежуточный путь Запретить: / da / промежуточный путь Запрещение: / en / промежуточный путь Запретить: / fr / промежуточный путь Запретить: / де / промежуточный путь Запретить: / ja / промежуточный путь Запретить: / pt / промежуточный путь Запретить: / es / промежуточный путь Запретить: / sv / промежуточный путь Запретить: / intel-доступ Запретить: / hcl-vmware-вход-портал Запретить: / hcl-vmware-стратегические-отношения Запретить: / сайты / по умолчанию / файлы / Intel-сделки-файлы / hcl-аналитик-распознавания-полупроводниковые встроенные.pdf Запретить: /sites/default/files/intel-deal-files/hcl-intel-relationship-video.mp4 Запретить: /sites/default/files/intel-deal-files/srv6-acceleration-poc.mp4 Запретить: /sites/default/files/hcl_engineering_and_rd_vmware_2020_part_1_compressed.pdf Запретить: /sites/default/files/hcl_engineering_and_rd_vmware_2020_part_2_compressed.pdf Запретить: /sites/default/files/vmware-files/vmware-case-study-telecom.pdf Запретить: / sites / default / files / vmware-files / vmware-DevOps-Возможности.pdf Запретить: /sites/default/files/vmware-files/vmware-hcl-capability-reference.pdf Запретить: /sites/default/files/vmware-files/vmware-hcl-datacenter-engineering-capabilities-client-facing-deck.pdf Запретить: /sites/default/files/vmware-files/vmware-hcl-main-proposal.pdf Запретить: /sites/default/files/vmware-files/vmware-pas-brochure.pdf Запретить: /sites/default/files/vmware-files/vmware-rfp-capability-slu-case-study.pdf Запретить: / sites / default / files / vmware-files / vmware-taf_brochure.pdf Запретить: /sites/default/files/hybrid_multi_cloud.pdf Запретить: /sites/default/files/containers_microservices.pdf Запретить: /sites/default/files/iot_works.pdf Запретить: /sites/default/files/the_enterprise.pdf Запретить: /sites/default/files/networking.pdf Запретить: /sites/default/files/vmware_presentation_june_6-min.pdf Запретить: /sites/default/files/global_aviation_company_improves_software_testing_reduces_executive_cyc.pdf Запретить: / sites / default / files / apps-modernization.pdf Запретить: /sites/default/files/hcl-vmware-360-degree.pdf Запретить: / sites / default / files / resources_backup / * Запретить: / nodequeue / * Запретить: / zh-hant / node Запретить: / da / node Запретить: / en / node Запретить: / fr / node Запретить: / de / node Запретить: / ja / node Запретить: / pt / node Запретить: / es / node Запретить: / sv / node Запрещение: * / da / * Запретить: * / es / * Запрещено: * / fr / * Запретить: * / zh-hant / * Запретить: * / de / * Запретить: * / sv / * Запретить: * / pt / * Запрещение: * / js / * # Рабочие страницы Запретить: * / jobs / * # Страница аудита облака Запретить: / облако / aws / aws-connect-services # Страница персонализации Запретить: / Personalization-revamp / get-data Запретить: / personalization-revamp / get-business-data Запретить: / personalization-revamp / get-geo-data Запретить: / Personalization-revamp / get-home-page-banner-data Запретить: / сайты / по умолчанию / файлы / lca-документы / * # Alexabot Пользовательский агент: Alexabot Пользовательский агент: ia_archiver Disallow: / careers / * Запретить: / jobs / * Запретить: / de Запретить: / print

# # prod_hermes_com_robots.текст # # Этот файл предназначен для предотвращения сканирования и индексации определенных частей # вашего сайта поисковыми роботами и пауками, управляемыми такими сайтами, как Yahoo! # и Google. Сообщая этим «роботам», куда нельзя заходить на вашем сайте, # вы экономите трафик и ресурсы сервера. # # Этот файл будет проигнорирован, если он не находится в корне вашего хоста: # Используется: http://example.com/robots.txt # Игнорируется: http://example.com/site/robots.txt # # Для получения дополнительной информации о файле robots.txt, см .: # http://www.robotstxt.org/robotstxt.html # Для папок и файлов Drupal используются символы подстановки для каталогов 1) страна 2) язык Пользовательский агент: * # Каталоги Запретить: / * / config / Disallow: / * / * / включает / Запретить: / * / * / разное / Запретить: / * / * / modules / Запретить: / * / * / profiles / Запретить: / * / * / scripts / Запретить: / * / * / themes / Разрешить: / * / * / themes / custom / hermes / img / # Файлов Запретить: /*/*/CHANGELOG.txt Запретить: / * / * / cron.php Запретить: /*/*/INSTALL.mysql.txt Запретить: /*/*/INSTALL.pgsql.txt Запретить: /*/*/install.php Запретить: /*/*/INSTALL.txt Запретить: /*/*/LICENSE.txt Запретить: /*/*/MAINTAINERS.txt Запретить: /*/*/update.php Запретить: /*/*/UPGRADE.txt Запретить: /*/*/xmlrpc.php # Пути (чистые URL) Запретить: / admin / commerce / Запретить: / * / * / admin / Запретить: / * / * / комментарий / ответ / Запретить: / * / * / узел / добавить / Запретить: / * / * / узел / * Запретить: / * / * / search / Запретить: / * / * / taxonomy / * Запретить: / * / * / пользователь / регистрация / Запретить: / * / * / пользователь / пароль / Запретить: / * / * / пользователь / логин / Запретить: / * / * / пользователь / выход из системы / # Пути (без чистых URL) Запретить: / * / * /? Q = admin / Запретить: / * / * /? Q = комментарий / ответ / Запретить: / * / * /? Q = node / add / Запретить: / * / * /? Q = search / Запретить: / * / * /? Q = пользователь / пароль / Запретить: / * / * /? Q = user / register / Запретить: / * / * /? Q = user / login / Запретить: / * / * /? Q = user / logout / # добавлено относительно фактической структуры сайта # запретить индексирование поискового URL Запретить: / * / * / search? S = * Запретить: / * / * / search /? S = * # Для папок и файлов Magento подстановочные знаки используются для каталогов 1) страны 2) языка # Каталоги Запрещение: / * / * / 404 / Запретить: / * / * / app / Запрещение: / * / * / cgi-bin / Запретить: / * / * / загрузчик / Запрещение: / * / * / errors / Disallow: / * / * / включает / Запретить: / * / * / lib / Запретить: / * / * / magento / Запрещение: / * / * / pkginfo / Запретить: / * / * / report / Запретить: / * / * / scripts / Запретить: / * / * / shell / Запретить: / * / * / skin / Запрещение: / * / * / stats / Запретить: / * / * / var / # Пути (чистые URL) Запретить: / * / * / catalogsearch / result / Запретить: / * / * / catalog / product_compare / Запретить: / * / * / каталог / категория / просмотр / Запретить: / * / * / catalog / product / view / Запретить: / * / * / catalogsearch / Запретить: / * / * / checkout / Запретить: / * / * / control / Запретить: / * / * / contacts / Запретить: / * / * / customer / Запретить: / * / * / настроить / Запретить: / * / * / информационный бюллетень / Запретить: / * / * / poll / Запретить: / * / * / review / Запретить: / * / * / sendfriend / Запретить: / * / * / tag / Запретить: / * / * / список желаний / Запретить: / * / * / index.php / catalogsearch / result / Запретить: /*/*/index.php/catalog/product_compare/ Запретить: /*/*/index.php/catalog/category/view/ Запретить: /*/*/index.php/catalog/product/view/ Запретить: /*/*/index.php/catalogsearch/ Запретить: /*/*/index.php/checkout/ Запретить: /*/*/index.php/control/ Запретить: /*/*/index.php/contacts/ Запретить: /*/*/index.php/customer/ Запретить: /*/*/index.php/customize/ Запретить: /*/*/index.php/newsletter/ Запретить: /*/*/index.php/poll/ Запретить: / * / * / index.php / обзор / Запретить: /*/*/index.php/sendfriend/ Запретить: /*/*/index.php/tag/ Запретить: /*/*/index.php/wishlist/ # Файлов Запретить: /*/*/cron.php Запретить: /*/*/cron.sh Запрещение: / * / * / error_log Запретить: /*/*/install.php Запрещено: /*/*/LICENSE.html Запретить: /*/*/LICENSE.txt Запретить: /*/*/LICENSE_AFL.txt Запретить: /*/*/STATUS.txt # Пути (без чистых URL) Запретить: /*/*/*.php$ Запретить: / * / * / *? P = * & Запретить: / * / * / *? SID = Disallow: / * / * / *? Limit = all # Ожидание исправления Disallow: / * / история / тест * Disallow: / * / story / * — тест * Запретить: / apps / Запретить: / geoloc / Запретить: / cookie / Запретить: / autodiscover / Запретить: / ACQUIA_MONITOR Запретить: / модули / пользователь / Запретить: / do_not_delete / Запретить: / extension / Запретить: / * / * / get / ajax / notifications / Запретить: / * / * / validatewechatpay / #Params Запретить: *? Cachebuster = * Запретить: *? Nuance = * Запретить: *? Color_hermes__nuance = * Запретить: *? Size_leather = * Запретить: *? Xtor = * Запретить: *? Sortby = * Запретить: *? Site = * Запретить: *? Engineid = * Запретить: *? & Engineid = * Запретить: *? Page = * Запретить: *? A = * Запретить: *? C = * Запретить: *? E = * Запретить: *? P = * Запретить: *? Q = * Запретить: *? V = * Запретить: *? X = * Запретить: *? Cid = * Запретить: *? Mid = * Запрещено: *? Ladh = * Запретить: *? Fbclid = * Запретить: *? StoreId = * DIsallow: * langId = * Запрещено: * catalogId = * Запретить: * идентификатор-эскиза = * Запретить: * _gac = * Запретить: * обратный вызов = * Запретить: * CFID = * Запретить: * CHKeyword = * Запрещено: * city = * Запретить: * комбинация = * Запрещено: * страна = * Запретить: * embedded = * Запретить: * event = * Disallow: * fit = * Запретить: * from = * Disallow: * gamme = * Запрещено: * generic_color_ * Запретить: * hc_location = * Запретить: * insvid = * Запретить: * keyfrom = * Запрещать: * lang = * Запретить: * locale = * Запретить: * mod = * Запретить: * MRK_CMPG_SOURCE = * Запрещено: * NBVCCX = * Запретить: * openExternalBrowser = * Запретить: * orderby = * Запретить: * phint = * Запрещено: * productId = * Запретить: * ref = * Запретить: * selected = * Запрещено: * snowdome_id = * Запретить: * tc = * Запретить: * theme = * Запретить: * tkb = * Запретить: * url_from = * Запретить: * wid = * Запретить: * xtcr = * Запретить: * xtmc = * Запрещено: * yclid = * Запретить: * zoneId = * # Только для Китая Пользовательский агент: * Запрещение: / cn / Пользовательский агент: 360Spider Запретить: / # Все карты сайта, перечисленные ниже: Карта сайта: https: // www.hermes.com/ca/en/sitemap.xml Карта сайта: https://www.hermes.com/ca/fr/sitemap.xml Карта сайта: https://www.hermes.com/us/en/sitemap.xml Карта сайта: https://www.hermes.com/at/de/sitemap.xml Карта сайта: https://www.hermes.com/be/en/sitemap.xml Карта сайта: https://www.hermes.com/be/fr/sitemap.xml Карта сайта: https://www.hermes.com/ch/de/sitemap.xml Карта сайта: https://www.hermes.com/ch/fr/sitemap.xml Карта сайта: https://www.hermes.com/cz/en/sitemap.xml Карта сайта: https://www.hermes.com / de / de / sitemap.xml Карта сайта: https://www.hermes.com/dk/en/sitemap.xml Карта сайта: https://www.hermes.com/es/es/sitemap.xml Карта сайта: https://www.hermes.com/fi/en/sitemap.xml Карта сайта: https://www.hermes.com/fr/fr/sitemap.xml Карта сайта: https://www.hermes.com/ie/en/sitemap.xml Карта сайта: https://www.hermes.com/it/it/sitemap.xml Карта сайта: https://www.hermes.com/jp/ja/sitemap.xml Карта сайта: https://www.hermes.com/lu/fr/sitemap.xml Карта сайта: https://www.hermes.com/nl/en/sitemap.xml Карта сайта: https://www.hermes.com/no/en/sitemap.xml Карта сайта: https://www.hermes.com/pl/en/sitemap.xml Карта сайта: https://www.hermes.com/pt/en/sitemap.xml Карта сайта: https://www.hermes.com/se/en/sitemap.xml Карта сайта: https://www.hermes.com/uk/en/sitemap.xml Карта сайта: https://www.hermes.com/au/en/sitemap.xml Карта сайта: https://www.hermes.com/sg/en/sitemap.xml Карта сайта: https://www.hermes.com/my/en/sitemap.xml Карта сайта: https://www.hermes.com/kr/ko/sitemap.xml Карта сайта: https: // www.hermes.com/ri/en/sitemap.xml Карта сайта: https://www.hermes.com/dh/en/sitemap.xml Карта сайта: https://www.hermes.com/th/en/sitemap.xml

# # robots.txt # # Этот файл предназначен для предотвращения сканирования и индексации определенных частей # вашего сайта поисковыми роботами и пауками, управляемыми такими сайтами, как Yahoo! # и Google. Сообщая этим «роботам», куда нельзя заходить на вашем сайте, # вы экономите трафик и ресурсы сервера. # # Этот файл будет проигнорирован, если он не находится в корне вашего хоста: # Используется: http: // example.ru / robots.txt # Игнорируется: http://example.com/site/robots.txt # # Дополнительную информацию о стандарте robots.txt см. В следующих статьях: # http://www.robotstxt.org/robotstxt.html Пользовательский агент: brightedge Позволять: / Пользовательский агент: * # CSS, JS, изображения Разрешить: /core/*.css$ Разрешить: /core/*.css? Разрешить: /core/*.js$ Разрешить: /core/*.js? Разрешить: /core/*.gif Разрешить: /core/*.jpg Разрешить: /core/*.jpeg Разрешить: /core/*.png Разрешить: /core/*.svg Разрешить: /profiles/*.css$ Разрешить: /profiles/*.css? Разрешить: /profiles/*.js$ Разрешить: /profiles/*.js? Разрешить: / profiles / *.гифка Разрешить: /profiles/*.jpg Разрешить: /profiles/*.jpeg Разрешить: /profiles/*.png Разрешить: /profiles/*.svg # Каталоги Запретить: / core / Запретить: / profiles / # Файлов Запретить: /README.txt Запретить: /web.config # Пути (чистые URL) Запретить: / admin / Запретить: / комментарий / ответ / Запретить: / фильтр / советы Запретить: / узел / добавить / Запретить: / поиск / Запретить: / пользователь / регистрация / Запретить: / пользователь / пароль / Запретить: / пользователь / логин / Запретить: / пользователь / выход из системы / Запретить: / узел / # Пути (чистые URL) — убрать косую черту в конце # добавлено JWL 7-19-18 Запретить: / admin Запретить: / комментарий / ответ Запретить: / фильтр / советы Запретить: / узел / добавить Запретить: / поиск Запретить: / пользователь / регистрация Запретить: / пользователь / пароль Запретить: / пользователь / логин Запретить: / пользователь / выход Запретить: / узел # исправить индекс любого индекса.