Создать зеркало сайта: Как сделать зеркало сайта

Содержание

Как сделать зеркало сайта

У одного сайта может быть много зеркал, но главный домен может быть лишь один. Чтобы поисковый робот не выбрал основной сайт среди его копий автоматически, важно указать главную версию сайта вручную. 

Как определить основное зеркало сайта

Зеркалами принято считать сайты, у которых совпадает контент. На деле это могут быть разные домены с отличающимся дизайном. Но если на их страницах добавлены одинаковые тексты, картинки с видео — поисковый робот посчитает такие сайты склеенными зеркалами. Этим пользуются злоумышленники, которые создают копии популярных площадок с целью переманить контент и сделать свои сайты основными версиями.

При наличии доступа к панели вебмастеров мошенники указывают свои домены в качестве основных. Владелец сайта с украденным контентом может и не догадываться о том, что его ресурс не попадает в выдачу. Именно поэтому опасно бездумно предоставлять доступы к панели вебмастеров исполнителям, к которым нет доверия.

Склеенными считаются одинаковые сайты с:

  • префиксами http и https;
  • разными доменными зонами, но одинаковым контентом. Например, это могут быть сайты saitik.ru saitik.org;
  • разными названиями и полностью идентичным контентом. Например, домены saitik.com и example.org определятся как склееные при условии наличия одинаковых текстов на страницах;
  • доступом через префикс www и без него.

Поисковики автоматически определяют основную версию домена, если она не указана владельцем сайта. В результате вы можете работать над продвижением одного сайта, в то время как поисковые системы будут индексировать другую его версию. Чтобы этого не допустить, укажите вручную рабочий домен. 

Ручная настройка редиректов и указание главного сайта потребуется при:

  • переезде на другой домен, независимо от доменной зоны;
  • настройке основной версии с префиксом www и без него;
  • установке сертификата SSL;
  • резервировании созвучных доменов. Например, site.ru и sait.ru;
  • покупке домена — аналога кириллического названия сайта.  Например сайт.ру и site.ru;
  • регистрации сайтов в разных странах. Например, site.ru, site.ua, site.by;
  • создании дубля сайта на другом сервере или хостинге с целью распределения нагрузки.

Как сделать главное зеркало сайта 

Указать основную версию можно в Яндекс.Вебмастер и Google Search Console. Перед этим нужно доказать права на все домены, которые будут указаны как копии. В панели Яндекс зайдите в раздел «Переезд домена» и укажите название главного сайта в строке и сохраните информацию.

В Search Console основной домен указывается в настройках сайта. Для перехода в этот раздел нажмите знак шестеренки в правом верхнем углу личного кабинета. Среди доступных вариантов выберите подходящий пункт и сохраните.

Как сделать зеркало сайта другими способами

Через файл robots.txt

Указать главный домен можно через директиву Host, которая прописывается в конце файла. Если вы случайно добавите несколько таких директив, правильным будет считаться первый вариант. Кстати, через robots.txt можно проверить, какая версия сайта на данный момент считается основной. Для этого введите в поисковую строку текст saitik.ru/robots.txt, где saitik.ru — основной домен. После Host: будет указана основная версия на данный момент.

Поисковая строка

Проверить основной домен можно также через поиск. Введите название сайта и посмотрите выдачу по позициям. Если вы написали название сайта с www, но поиск выдает домен без префикса — значит это и есть главное зеркало.

Онлайн-инструмент

Также проверить наличие зеркал можно с помощью виртуальных сервисов. Например, Redirect Checker.

Как сделать главное зеркало сайта через .htaccess

Файл .htaccess доступен через хостинг-панель сайта, либо его можно скачать с помощью файлового менеджера на компьютер. Откройте .htaccess через блокнот и добавьте строки:

RewriteEngine OnRewriteCond %{HTTP_HOST} ^saitik. (.*)$ https://example.org/$1 [R=301,L]

В этом случае каждая страница сайта saitik.ru будет автоматически перенаправлять пользователей на аналогичную по контенту страницу домена example.org. После внесения этих строк в файл .htaccess также следует указать в robots.txt старого домена главную версию нового сайта через директиву Host.

Для расклеивания зеркал необходимо заново скачать файл на компьютер и удалить строки с настройкой редиректов. Также можно заменить контент на одном из сайтов и довести его до уникальности.

А теперь небольшая пауза — и есть время, чтобы подписаться на рассылку блога:

{«0»:{«lid»:»1573230077755″,»ls»:»10″,»loff»:»»,»li_type»:»em»,»li_name»:»email»,»li_ph»:»Email»,»li_req»:»y»,»li_nm»:»email»},»1″:{«lid»:»1596820612019″,»ls»:»20″,»loff»:»»,»li_type»:»hd»,»li_name»:»country_code»,»li_nm»:»country_code»}}

Истории бизнеса и полезные фишки

Как сделать зеркало сайта WordPress

Для указания основной версии домена можно использовать основные настройки WordPress.

С целью настройки редиректов отдельных страниц сайта можно скачать плагины и указать в них необходимые настройки.

Запомнить

Зеркалами считаются сайты с разными доменными именами, но идентичным контентом. Чтобы указать поисковому роботу, какую версию считать основной, можно использовать панели вебмастеров, файлы robots.txt и .htaccess. Поисковики индексируют только одну главную версию сайта. При обнаружении склеенных зеркал без указания основного домена его позиции заметно проседают в выдаче. 

Настройка редиректов страниц и указание главной версии требуется при наличии одной или нескольких копий сайта, которые планируется использовать в дальнейшем. Для расклеивания зеркал необходимо заменить контент в одной из версий сайта либо деактивировать существующие редиректы.

Как создать зеркало сайта: общие принципы

Содержание статьи:

Что такое зеркало сайта

Чтобы создать зеркало сайта, нужно понять, что это такое и для чего это нужно. Зеркала сайта это абсолютные или относительные копии основного веб-ресурса (главного зеркала), имеющие различные адреса. При этом решаются самые разные цели и задачи: резервирование, распределение нагрузки трафика на несколько серверов, экономия на оплате потребляемых серверных ресурсов и тому подобное.

Зачем нужно создать зеркало сайта

Предположим, некая компания имеет хорошо раскрученный корпоративный сайт с высокими показателями, трастом. Отличные позиции в поисковой выдаче, посещаемость. На высокие позиции сайта, высокую посещаемость, его раскрутку и продвижение были потрачены большие средства. Возможны были использованы новые методы SEO продвижения. Затем, в маркетинговых целях, руководство компании принимает решение изменить имидж, название, логотип и тому подобное.

Что делать в этом случае? Не бросать же отличный сайт.

Нет не бросать. Для нового сайта желательно иметь доменное имя сайта, созвучное названию продвигаемого бренда. Если просто перенести сайт на новый домен и перепарковать домен, будут потеряны все достигнутые преимущества в поиске и посещаемость.

Чтобы этого не случилось, к тому же сайту на хостинге паркуется дополнительно новый домен. В служебных файлах

robots.txt и .htaccess задается новое имя как главное зеркало сайта. Через некоторое время поисковые роботы заметят, что появился второй сайт и проведут переиндексацию, Соответственно, произведут “склейку” зеркал и по заданным параметрам в поиске будет теперь выдаваться сайт по-новому URL. Все достигнутые показатели плавно перетекают на “новый” ресурс.

В других случаях требуется создать зеркало сайта (один или несколько дублирующих ресурсов) на других хостингах. Обычно для целей резервирования, подстраховки на случай падения хостинга либо перегрузки трафика.

Особо крупные сайты с огромной посещаемостью, порталы, с которых постоянно производится скачивание файлов тысячами пользователей, создают зеркала для распределения трафика по многим серверам. Или, чтобы снизить плату за трафик, выгоднее предоставить местным пользователям доступ к сайту с расположенного в их стране сервера.

Еще один вариант склейки зеркал, наверное, самый простой и всем знакомый, это склейка одного домена с WWW и без WWW в адресе.

Зеркала статического сайта

В таком случае проблемой становится задача своевременной синхронизации файлов на всех зеркалах, расположенных на разных серверах. При статическом сайте и нечастых апдейтах синхронизацию можно производить и в ручном режиме. После каждого редактирования главного сайта произвести инкрементальный апдейт всех зеркал через FTP. При этом производится не полная замена всех файлов, а только дописываются измененные файлы.

Зеркала динамического сайта

Гораздо сложнее дела обстоят, когда сайт динамический, часто обновляется. Например, международный новостной портал. Тогда синхронизация зеркал становится настоящей головной болью для владельца сайта. Без привлечения грамотных программистов не обойтись в любом случае.

Хотя существуют программы для синхронизации зеркал на удаленных серверах, в том числе для автоматической синхронизации, в этом деле придется производить многочисленные настройки.

А также согласовывать все эти манипуляции с администрацией хостингов.

На некоторых хостингах есть возможность для синхронизации со сторонними провайдерами, а на других нет такой возможности. Все это необходимо прояснить заранее, еще до аренды хостинга. Во всяком случае, такой вопрос не получится прояснить стандартным путем, прося помощи на форумах. Получив массу общих ответов ни о чем, будет ненавязчиво предложено подумать о платных услугах.

Программы для создания зеркала сайта

Наиболее популярной программой для синхронизации зеркал является rsync (Remote Synchronization), бесплатная программа со свободным кодом. К преимуществам rsync относится технология синхронизации файлов и папок отдельно в обоих направлениях. За счет этого достигается существенная экономия трафика.

Для полуавтоматической синхронизации зеркал можно применить бесплатный кроссплатформенный браузер HTTrack.

Все перечисленное выше это лишь общие принципы, поясняющие как создать зеркало сайта. Практическое создание зеркал зависит от конкретного ресурса, сервера на котором он находится. Также от CMS, которая им управляет. Но об этом в других статьях.

©webonto.ru

Еще статьи

Похожие статьи:

Как сделать зеркало сайта — Joomla.ru

Зеркалом является дубль определённого сайта. Зеркала используют для дублирования информации на различных серверах.

Если вы не можете похвастаться опытом и создали сайт впервые, у вас скорее всего есть дубль в адресе сайта.
Поисковик может сам склеить зеркало и определит какую версию сайта выдавать в результатах поиска.
Но лучше если вы определите зеркало сами.


Как склеить зеркало сайта

Если сайт доступен по двум адресам www.ваш сайт.ru и ваш сайт.ru, без переадресации на основной домен, значит у вас дубли. Поисковик думает, что ваш сайт с префиксом www и без, это два абсолютно разных сайта. Это может вызвать проблемы при индексировании. Предположим, ваш коллега опубликовал ссылку на сайт с www, а поисковик определил основным доменом сайт без www. Отсюда проблемы с индексацией. Чтобы у нас не возникало таких проблем, мы поможем поисковому роботу и укажем основной хостинг в robots.txt, в Яндекс Вебмастере и Google вебмастере. В обоих случаях необходимо пройти процедуру регистрации.

Для начала необходимо указать основное зеркало в robots.txt для Яндекса, при помощи директивы Host.

  • Откроем robots.txt
  • Находим директорию User-agent: Yandex
  • В конце пишем Host: www.ваш сайт.ru. Здесь вы можете решить, отображать сайт с www или без.

 

Этого воплне хватит для яндекса, разве что можно ещё указать зеркало в Яндексе вебмастере. Пройдите в настройки индексирования>главное зеркало. Укажите основное зеркало и всё готово.


Чтобы Google знал ваше основное зеркало, пройдите в Google Webmaster, конфигурация>настройки. Укажите там ваш основной домен.

Пройдёт какое-то время прежде чем поисковики учтут новые параметры и начнут индексировать основное зеркало. Например вы выбрали ваш сайт.ru без www, тогда люди набирающие www автоматически направляются поисковиком на основное зеркало без www.

что это такое, как сделать, настроить, убрать зеркала

Если интересует тема создания и настройки зеркала сайта — это статья для вас. Расскажу вам, что такое зеркало и как его сделать.

Что такое «зеркало сайта»: значения и виды

Вообще, под зеркалами вебмастерами часто понимаются разные вещи. И цели у таких зеркал тоже разные: безопасность сайта, смена адреса и некоторые другие. Обо всем этом поведаю ниже.

Зеркало — дубликат, копия сайта. Зеркальное копирование своего или чужого сайта может быть полным или частичным.

При этом, более глубокое понятие «зеркала» употребляется в разных контекстах и может принимать немного иные значения:

  • Версия-дубликат сайта с «www. » в начале адреса или без. Например www.15blogggers.ru и просто 15blogggers.ru. Если делать по старинке, такие версии будут считаться поисковиками разными сайтами (хоть и идентичными по содержанию) и их нужно будет склеить для корректного SEO.
  • Другой домен, прикрепленный к основному сайту — когда оба адреса «склеены» с одним содержимым. В этом случае по обоим адресам будет показываться копия основного сайта, вне зависимости от того, какой домен вы сделаете основным — новый или старый. Такая копия может находиться даже на другом сервере. Подобная практика распространена среди крупных сайтов, когда несколько доменов используют копии одной базы данных, размещенных на разных серверах. В случае если одна копия сайта «ляжет», можно будет зайти на другую.

Сложно сказать определенно, какой из вариантов используется чаще: скорее всего у небольших сайтов однозначно первый, у крупных — второй.

Итак, роботы Яндекса и Гугла считают зеркалами полные копии сайтов. Копия определяется при совпадении контента по двум разным адресам, например: 7bloggers. ru/about-2 и 15blogggers.ru/about-2 или 7bloggers.ru/about-2 и www.15blogggers.ru/about-2.

При этом, идентичный контент может быть показан как с перенаправлением, так и без. В случае перенаправления, происходит редирект с 7bloggers.ru/about-2 на www.15blogggers.ru/about-2. При отсутствии редиректа, контент просто показывается по двум адресам, но в поисковой выдаче участвует главное зеркало и только оно.

Зачем и для чего делают зеркала сайтов?

Если вы еще не поняли, для чего конкретно создаются зеркала, расскажу на конкретных примерах.

Я могу сделать зеркало сайта на другом, более красивом домене, чтобы впоследствии перенести туда сайт, сохранив и поисковый трафик, и закладочную аудиторию постоянных посетителей (предварительно подготовив их к переезду на красивый домен). Такие случаи часто возникают в коммерции при слиянии и поглощении фирм — когда наименование и адрес новой объединенной компании должны измениться. Поэтому надо склеить новый домен с существующим.

Я могу «забронировать» домен. Сделаю зеркало сайта для бронирования схожих адресов. Например: kondicionery.ru и konditsionery.ru, fotostudiya.ru и fotostudia.ru. Еще пример: seo-moscow.ru и moscow-seo.ru. Зачем? Ну, для защиты от конкурентов, на всякий случай. Много причин. Иногда бывает так что, допустим, «fotostudia» пользователю проще запомнить и ввести — и речь не только об адресной строке браузера, но и о поисковых запросах. Статистика по запросам изобилует всевозможными опечатками и ошибками: «фольцваген», «ай фон» и др.

Из этого вытекает следующая цель.

Я могу сделать зеркало сайта для продвижения в нескольких странах на разных языках. Пример из жизни: computeruniverse.net, computeruniverse.de, computeruniverse.ru (русская версия что-то не работает в последнее время, вообще работала).

Про создание зеркал с целью стабильной доступности сайта я уже говорил — подобная схема не только обеспечит доступ к сайту в случае падения основного сервиса, но и распределит нагрузку по нескольким серверам т. е. в целом сайт будет всегда отзываться быстрее чем с одного «перегруженного» сервера.

Я могу сделать зеркало сайта, чтобы вывести его из под фильтра. Допустим, зафильтровал Яндекс сайт под одним доменом (или заблокировал Роскомнадзор по IP), а я делаю зеркало на новом сервере, делаю редирект — и снова в топе. Не страшны ни фильтры Яндекса, ни блокировки.

Сейчас расскажу, как создать зеркало для сайта с двумя распространенными целями: объединим домены с «www.» на обычный (+ обратно) и сделаем сайт-зеркало с новым доменом.

Как сделать зеркало сайта, объединив два домена с «www.» и без

В этом деле нам пригодится 301 редирект. Зайдите в корень сайта на своем хостинге и найдите там файл «.htaccess». Создайте, если его нет. Например, в Notepad++. Сделайте пустой файл и где-нибудь его сохраните.

Обратите внимание что я выбрал ALL TYPES в типе файла. По невнимательности ошибки бывают и у меня — недавно редактировал hosts-файл для Windows и сохранил его не глядя как «hosts. (.*)$ https://15blogggers.ru/$1 [R=301,L]

Ребята, обратите внимание, если вы хотите сделать в качестве зеркала сайт на кириллическом домене (например 7блоггеров.рф) — адрес должен быть в формате punycode: «xn--8-btbddam3byadt.xn--p1ai» или «www.xn--8-btbddam3byadt.xn--p1ai», где «.xn--p1ai» это «.рф».

После заполнения файла .htaccess выбранным способом, нужно изменить файл robots.txt — он тоже находится в корне сайта.

Нам нужно передать привет Яндексу и Гуглу, чтобы он знал, какой адрес будет основным.

User-agent: Yandex

Host: 15blogggers.ru

User-agent: Google

Host: 15blogggers.ru

Host — основной домен.

Теперь нужно подстраховаться и уведомить поисковые системы через панель вебмастера о сделанных изменениях. Это делать не обязательно — но перестраховаться не бывает лишним. В любом случае, склеивать зеркала Яндекс будет примерно месяц.

Итак, зайдите в Яндекс.Вебмастер (вы ведь добавляли туда сайт? если нет — добавьте) и ступайте в раздел «Главное зеркало». В старой версии Вебмастера это выглядит так:

В новом Вебмастере раздел называется «Переезд сайта», находится по адресу https://webmaster.yandex.ru/site/http:7bloggers.ru:443/index-setup/mirrors/ и выглядит так:

В Вебмастере Гугла тоже есть подобные настройки, попасть в них можно нажав по шестеренке в правом верхнем углу и затем «Настройки сайта».

Вы перейдете на новую страницу с меню выбора основного домена. Теперь нужно выбрать, какой домен хотите сделать главным (основным), какой — второстепенным (дополнительным). Например: 15blogggers.ru — основной, www.15blogggers.ru — дополнительный.

Подробнее о настройке основного домена (с www и без), можно почитать в справке Гугла для вебмастеров.

Как сделать и настроить зеркало сайта на другом домене

Для нового домена (в т.ч. в другой доменной зоне), тоже понадобится .htaccess файл — на этот раз у второстепенного домена. Код:

RewriteEngine On

RewriteCond %{HTTP_HOST} ^15blogggers\. (.*)$ https://15blogggers.ru/$1 [R=301,L]

Подробная информация по данному типу склейки с новым доменом содержится в видеоролике:

Есть еще ролик от специалистов Яндекса, только его нельзя встроить, перейдите по ссылке ниже.

Видео: Яндекс — Как работать с зеркалами сайта

Как узнать и проверить зеркало сайта?

Напоследок научу вас проверять зеркала своих и чужих сайтов. Ну это просто, если вы заходите по адресу www.15blogggers.ru, а вас перебрасывает на 15blogggers.ru — зеркало работает. В данном случае, 15blogggers.ru это основной домен, а www.15blogggers.ru — второстепенный.

Второй способ проверить работоспособность зеркал (уже склеенных поисковиками) — ввести в поисковую строку Яндекса или Гугла адрес зеркала сайта. В поисковой выдаче вы увидите отображение основного домена.

Проверить домен на склейку (вариант для ленивых) можно и при помощи сервиса XSEO. Перейдите по адресу и введите домен для проверки.

Итог — часто задаваемые вопросы по зеркалам

Индексируются ли зеркала?

Поскольку поисковые роботы склеивают зеркала, впоследствии индексируется из них только основной сайт — главное зеркало. Соответственно, он же и участвует в поисковой выдаче. Как ускорить индексацию сайта — читайте тут.

Что будет, главное зеркало не указывать совсем?

Бывает так, что вебмастера склеивают зеркала сайта, но при этом забывают сделать указание для поисковых машин о том, какое из зеркал является основным. В этом случае поисковый робот самостоятельно выберет основное зеркало в соответствии со своим внутренним алгоритмом.

Чтобы не было ошибок, не забудьте указать роботу адрес главного зеркала: через директиву Host в robots.txt, серверным редиректом в .htaccess. Примеры настроек я приводил выше.

Можно ли напрямую проверить в Яндексе сайт-зеркало?

Можно. Это делается через аддурилку („Сообщить о новом сайте“). Если добавленный домен будет являться зеркалом, вы увидите: «Указанный вами сайт www.15blogggers.ru является неглавным зеркалом сайта 15blogggers.ru».

При создании зеркала на другом домене, учитываются ли характеристики старого?

Да. Если вы делаете второстепенным зеркалом старый домен с показателями для главного зеркала по новому адресу — это поможет сохранить существующие позиции в выдаче.

Склеятся ли сайты при перенаправлении на главное зеркало со всех страниц неглавного зеркала?

Да. Но лучше так не делать. Сделайте нормально — пусть каждая страница перенаправляет на соответствующую ей страницу на главном зеркале.

Почему сайт пропал из поиска после настройки серверного редиректа на новый домен?

Вероятно т.к. новый домен на момент склейки уже был зеркалом (неглавным). А старый сайт не участвует в поиске, т.к. перенаправляет, а новый еще не появился в поиске потому что не прошло достаточное количество времени, чтобы ПС распознали его как главное зеркало.

Что делать, если структура зеркал отличается?

Ничего страшного не произойдет, в том случае если вы правильно настроите серверные редиректы между страницами зеркал. URL на неосновном зеркале должен строго перенаправлять на URL с идентичным контентом на главном сайте, а страницы со старой структурой — на страницы с новой структурой. Приведу пример для наглядности:

www.6bloggers.ru/old —> www.15blogggers.ru/old
www.6bloggers.ru/new —> www.15blogggers.ru/new
www.15blogggers.ru/old —> www.15blogggers.ru/new

Как расклеить зеркала?

Вернуть настройки в robots.txt и .htaccess к первоначальным. Так поисковая машина узнает, что сайты перестали быть зеркалами, отдают разный контент и можно их расклеить. Это произойдет за 2-3 недели, в редких случаях до 2 месяцев. Напомню, проверить расклейку можно в Вебмастере через форму ”Сообщить о новом сайте“: если сайт ранее был неглавным зеркалом и успешно добавился в форму — все прошло удачно.

Какими сервисам пользоваться для работы с доменами?

Полный список сервисов я описал в этой статье: https://7bloggers.ru/domains/.

Вот пожалуй и все. Успехов в создании зеркал.

склейка и настройка зеркал сайта. Как узнать главное зеркало сайта

Мы увеличиваем посещаемость и позиции в выдаче. Вы получаете продажи и платите только за реальный результат, только за целевые переходы из поисковых систем

Получи нашу книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Подпишись на рассылку и получи книгу в подарок!

Зеркало сайта – частичный или полный дубль интернет проекта

Под термином «зеркало сайта» чаще всего подразумевается две копии одного и того же ресурса с префиксом «www» и без него.

Поисковики обрабатывают адреса yoursite.ru и www.yoursite.ru как два разных домена. Соответственно, ссылочное ранжирование и показатели ИКС/PR будут распределяться на оба адреса. Чтобы устранить лишний дубль, осуществляется склейка зеркал сайта.

Больше видео на нашем канале — изучайте интернет-маркетинг с SEMANTICA

Под зеркалом сайта может подразумеваться полная копия интернет ресурса, имеющая отдельный домен и размещенная на другом сервере. Вебмастер, который знает, как настроить зеркало сайта, может создать дубль в целях безопасности. Если главный интернет проект будет временно недоступен, то трафик перенаправляется на функционирующий сервер.

 

Как указать основное зеркало сайта

До того как приступать к поисковому продвижению, нужно проверить главное зеркало сайта. Роботы ПС не всегда корректно определяют основной домен. Поэтому web-мастер должен знать, как самостоятельно указать главное зеркало сайта.

Поисковику Google можно передать сведения об основном домене с помощью инструментов для web-мастеров. Для этого следует зайти в Search Console, добавить ресурс и подтвердить права на него. Затем нужно перейти в настройки (значок шестеренки) и указать отображение основного домена с префиксом «www» либо без него.

Хотите узнать, как определить главное зеркало сайта для робота Yandex? Для этой поисковой системы производится настройка зеркала сайта через robots.txt. Добавьте в него директиву

Host: www.yoursite.ru (главный домен будет отображаться с префиксом)

либо

Host: yoursite.ru (в этом случае главным зеркалом станет домен без www)

 

Важно! Вместо «yoursite.ru» следует подставить имя домена своего интернет проекта.

 

Файл robots.txt представляет собой стандартный текстовый документ, обычно располагающийся в корневой папке web-сайта. Его можно редактировать посредством приложения «блокнот».

 

Если все выполнено корректно, то поисковики смогут склеить зеркала сайта гораздо быстрее, что положительно отразится на продвижении.

 

Проверка зеркала сайта online-сервисами

Вебмастер, желающий узнать, как найти зеркало сайта, может воспользоваться сервисом recipdonor.com от RDS-бара. В доменной зоне RU поиск зеркал сайта выполняется с помощью сервиса seobudget.ru/mirrorlist/.

 

Как сделать зеркало сайта (запасной дубль)

Зачем зеркало сайта может потребоваться владельцу web-проекта? Необходимость в копии площадки на другом домене может быть вызвана следующими причинами:

  • Защита данных от серверного сбоя;
  • Обеспечение стабильной работы интернет проекта;
  • Необходимость обойти блокировку, законодательные ограничения тех или иных стран;
  • Вывод сайта из-под санкций поисковых систем.

 

Вас интересует, как создать зеркало сайта путем привязки нескольких доменных имен к web-проекту? Помочь с выполнением этой процедуры может служба поддержки хостинговой компании, на сервере которой размещается сайт.

Создание зеркала сайта можно осуществить при помощи программ, способных копировать структуру и html-код интернет проекта. К наиболее популярному софту для зеркалирования относится ПО под названием CVSup, wget, HT Track.

Как создать зеркало сайта на WordPress (плагин)

Все-таки я окончательно решил уходить от доменов RU.

А потому встала задача сделать зеркала сайтов, работающих на WordPress, да таким образом, чтобы использовать одну и ту же базу данных, не меняя ее структуры и не добавляя новых таблиц.

Если бы не Яндекс, то все было бы гораздо проще – поставил бы 301-й редирект и делов-то. Но Яндекс этот редирект в упор не понимает, поэтому, чтобы все прошло гладко, для сего поисковика необходима следующая последовательность переноса сайта:

  1. Сделать абсолютную копию сайта (его зеркало) таким образом, чтобы сайт работал одновременно с двух адресов.
  2. На старом домене в robots.txt добавить директиву host, указывающую на новый адрес сайта.
  3. Ждать, ждать, ждать – когда придет робот-зеркальщик, когда его кореш индексирующий бот познакомится с зеркалом сайта, и когда проиндексированное зеркало, наконец, попадет в серп Яндекса.
  4. Вот теперь можно будет ставить 301-й редирект со старого адреса на новый.

Вы наверняка знаете, что WordPress жестко привязывает к сайту его адрес, т.е. если попытаться тупо скопировать файлы движка, находящиеся на фтп, в новый сайт и оставить то же самое подключение к БД, то при заходе по новому адресу сайта произойдет автоматический редирект на старый адрес, поскольку он и указан в настройках.

Чтобы обойти этот редирект (кстати, в более ранних версиях WordPress его не было), я создал малюсенький плагин в пару десятков строк кода, который и позволяет выполнить первый из четырех вышеуказанных пунктов.

Но, прежде чем дать ссылку на плагин, я хочу рассказать, как с ним работать.

Установка и настройка плагина

  1. Нет необходимости создавать на фтп-сервере копию сайта, т. е. будет использоваться всего одна инсталляция WordPress. Вместо этого необходимо создать зеркало домена (также их называют псевдонимом или алиасом). Т.е. новый домен необходимо сделать зеркалом старого.

    Вам самим придется разобраться, каким образом это сделать на вашем хостинге, я же только приведу пример того, как это выглядит в панели управления ISPmanager:

  2. Распаковать плагин из архива и в файле AA-DomainMirror.php отредактировать следующие 2 строки:
    
    $main     = "domain.ru";  // главный домен
    $mirror   = "domain.com"; // зеркало
    
  3. Закинуть папку AA-DomainMirror на сайт и активировать плагин через админку. Обратите внимание, что название папки лучше не менять, AA- в названии используется для того, чтобы плагин инициировался первым.
  4. После этого следует походить по новому адресу сайта и удостовериться, что все ссылки содержат правильный домен. В зависимости от используемых вами плагинов может случиться так, что некоторые ссылки будут содержать старый домен. Поэтому вам самим придется разбираться с такими плагинами.

Скачать плагин

Проверял работу плагина на WordPress 2.7, думаю, что и на 2.8 и на некоторых ранних версиях тоже будет работать.

Надеюсь, кому-то этот плагин пригодится =)

Как сделать зеркало сайта. Как правильно сделать зеркало сайта?

Зеркало сайта – копия некоторого сайта в интернет. Зеркала создаются с целью повышения надежности работы сайта, обеспечения сохранности информации на сайте, уменьшения нагрузки на сайт, увеличения посещаемости сайта и т.п. Обычно подразумевается, что если основной сайт по каким-либо причинам недоступен, то Посетитель попадает на одно из зеркал.

Если на сайте выложены какие-либо файлы для скачивания, нередко делают несколько зеркал (например, в разных странах) для распределения нагрузки при скачивании файлов многочисленными Пользователями, а также для удешевления трафика. Еще одна типичная ситуация, когда компанией зарегистрировано несколько доменных имен, фактически указывающих на один и тот же сайт.

Зеркалом сайта, по утверждению яндекса, является полная или частичная копия сайта. В википедии – это точная копия. Небольшое различие, но в этом случае формулировка в яндексе вернее. Существует понятие, как нечеткое зеркало – частичная копия.

Копии сайта можно сделать точными или нечеткими. В первом случае, пользователь будет переадресован на основной ресурс, во втором случае попадет на не полный дубль сайта. Во втором случае, все равно будет присутствовать дубль контента с главного сайта и как к этому поисковик отнесется можно не гадать. Но при индексации всех нечетких зеркал можно выйти в топ по продвигаемым запросам. Еще, каждое зеркало отдельно раскручивается, обрастает ссылками и происходит склейка тиц. Таким образом, основной сайт, имея малое количество обратных ссылок, может получить высокий тиц.

Самым главным критерием зеркала сайта является его полная идентичность основному ресурсу. Оно также, как и основной сайт, может приносить доход. В последнее время оптимизаторы практически лишились возможности использовать сайты – зеркала для заработка в сети, потому как поисковые системы достаточно быстро определяеют копии проектов и либо банят их, либо просто присваивают статус «зеркала».

Сделать главное зеркало для Яндекса. Для это нам потребуется внести изменения в robots.txt (обратите внимание на атрибут Host в самом низу файла). Если нам необходимо, чтобы главным зеркалом Яндекс считал адрес www.seoklub.ru, то прописываем следующее:

User-agent: Yandex
Disallow:
Host: www.seoklub.ru

и соответственно если мы хотим указать роботу, что основным ресурсом является другой URL:

User-agent: Yandex
Disallow:
Host: yandex.ru

Сделать главное зеркало для Google Для этого необходимо зарегестрироват сайт в сервисе Google Инструмент для веб-мастеров. Затем переходим по ссылке “Настройки” – “Основной домен” и ставим галочку, что необходимо. Сохраняем. Все готово. Самый же простой способ определить какой вариант домена был проиндексирован поисковыми системами – это попробовать найти свой сайт в поисковой выдачи Google или Яндекс.

При переезде накопленную популярность сайта можно сохранить только в системе Яндекс (т.е. сохранить ТИЦ и ВИЦ сайта). Поэтому имеет смысл поддерживать и старую версию Интернет-ресурса, если вы также работаете с иностранными поисковыми системами. Если со всех страниц сайта стоит серверный редирект на новые страницы, то новый домен будет считаться главным, а старый со временем будет удален из индексной базы. Если же при очередной переиндексации будут найдены какие-либо отличия в содержимом различных зеркал, эти зеркала «расклеиваются» поисковыми системами – начинают считаться различными сайтами (каждый с отдельно взятым индексом цитируемости). Но стоит заметить, что при «расклейке» суммарная посещаемость каждого из зеркал может существенно уменьшиться.

Как сделать офлайн зеркальную копию сайта с помощью wget

Вкратце, сегодня, если вы хотите сделать автономную копию / зеркало веб-сайта с помощью команды GNU / Linux wget , такая команда подойдет вам:

wget --mirror \
     --convert-links \
     --html-extension \
     --wait = 2 \
     -o журнал \
     http://howisoldmybusiness. com 
Обновление

: одна вещь, которую я узнал об этой команде, заключается в том, что она не создает копии «ролловеров» изображений, т.е.е. изображения, которые изменяются с помощью JavaScript, когда пользователь наводит на них курсор. Я еще не исследовал, как это исправить, но проще всего скопировать каталог / images с сервера, предполагая, что вы делаете статическую копию своего собственного веб-сайта , как это делаю я. Еще вы можете сделать это вручную загрузить изображения ролловера.

Почему я сделал это

В моем случае я использовал эту команду, потому что я больше не хочу использовать Drupal для обслуживания этого веб-сайта, поэтому я использовал wget для преобразования исходного веб-сайта Drupal в серию статических файлов HTML, которые могут обслуживаться Nginx или Apache.(Здесь нет необходимости использовать Drupal, поскольку я больше не обновляю этот веб-сайт и не принимаю комментарии на нем.) Я только что проделал то же самое с моим сайтом alaskasquirrel. com, который, по сути, представляет собой онлайн-версию детской книги. что я не модифицировал много лет.

Зачем использовать параметр —html-extension?

Обратите внимание, что вам не всегда нужно использовать параметр --html-extension с wget , но поскольку исходная версия моего веб-сайта How I Sold My Business не использовала никаких расширений в конце URL-адреса, это было необходимо в данном случае.

Я имею в виду, что исходная версия моего веб-сайта имела такие URL-адреса:

http://howisoldmybusiness.com/content/friday-october-18-2002 

Обратите внимание, что в конце этого URL-адреса нет расширения .html. Следовательно, что произойдет, если вы используете wget без , опция --html-extension такова, что вы получите файл на локальном компьютере с таким именем:

content / пятница-18 октября-2002 г. 

Даже если вы используете MAMP или WAMP для обслуживания этого файла из своей локальной файловой системы, они не узнают, что это HTML-файл, поэтому, по сути, вы получите бесполезный файл.

И наоборот, когда вы делаете , используете опцию --html-extension , вы получаете этот файл в вашей локальной файловой системе:

content / friday-October-18-2002.html 

На Mac этот файл легко открыть в браузере, и вам даже не нужен MAMP. wget также достаточно умен, чтобы изменить все ссылки в автономной версии веб-сайта, чтобы они ссылались на новые имена файлов, поэтому все работает.

Объяснение используемых параметров wget

Вот краткое объяснение опций, которые я использовал в этой команде wget :

--зеркало
    Включите параметры, подходящие для зеркалирования.Эта опция включает
    рекурсия и отметка времени, устанавливает бесконечную глубину рекурсии,
    и хранит списки каталогов FTP. В настоящее время эквивалентен
    ‘-R -N -l inf --no-remove -isting’.

--convert-links
    После завершения загрузки преобразуйте ссылки в документе
    чтобы сделать их пригодными для местного просмотра. 

--html-extension

-o foo
    записать вывод "журнала" в файл с именем "foo"

--wait = секунды
    Подождите указанное количество секунд между извлечениями.Рекомендуется использовать эту опцию, так как она снижает нагрузку на сервер.
    сделав запросы менее частыми. 

В зависимости от настроек веб-сервера копируемого веб-сайта вам также может потребоваться использовать параметр -U , который работает примерно так:

-U Mozilla
   тушь в браузере Mozilla 

Эта опция позволяет вам установить пользовательский агент wget . (Я подозреваю, что строка, которую вы используете, может быть немного сложнее, но мне она не нужна, и я не исследовал ее дальше.)

Я получил большинство этих настроек из руководства GNU wget.

Обновление

Альтернативный подход — использовать httrack , например:

httrack --footer "" http: // mywebsite: 8888/

Сейчас я экспериментирую, чтобы посмотреть, что работает лучше.

Сводка

Я напишу больше о wget и его параметрах в одном из будущих постов в блоге, но пока, если вы хотите сделать автономную зеркальную копию веб-сайта, показанная мной команда wget должна работать.

Создание внутреннего зеркала страницы | Основы построения и редактирования | Строительство и монтаж | Руководство CMS

Создание внутреннего зеркала страницы

Зеркальная страница позволяет отображать контент с одной страницы на другую страницу вашего сайта без создания и поддержки избыточного контента.

Создание зеркала Страница

  1. На своем сайте щелкните меню (+) Добавить контент .
  2. Выберите Зеркало внутренней страницы .
  3. Дайте своему внутреннему зеркалу страницы имя страницы . Имя страницы появится в URL-адресе страницы и в левой навигационной панели .

    Передовой опыт : Держите имена короткими; используйте только строчные буквы, цифры и тире. Не используйте пробелы или подчеркивания. Система отклонит имена страниц, которые не соответствуют этим требованиям.

    Выберите папку для размещения вашего нового внутреннего зеркала страницы.
  4. Затем присвойте странице Название . Заголовок появится в четырех местах: заголовок вкладки браузера, заголовок вашей страницы, метка в навигации и в хлебных крошках страницы.


    Если вы хотите, чтобы ваше внутреннее зеркало страницы отображалось в навигации, отметьте Да под Включить в левую навигацию . В папке Placement Folder подтвердите, что зеркальная страница будет сохранена там, где вы хотите; Если это не так, щелкните поле, и откроется панель выбора, где вы сможете выбрать местоположение.

  5. Далее, Поиск или Найдите страницу на своем сайте, которую вы хотите отобразить. Это также откроет панель выбора.

  6. После заполнения этих полей щелкните три точки («меню kabob») рядом с «Предварительный просмотр черновика » в правом верхнем углу и следуйте инструкциям по отправке актива.

Публикация зеркальной страницы

Чтобы опубликовать внутреннее зеркало страницы, выполните те же действия, что и для публикации содержимого на вашем сайте.Если контент на странице, которую вы зеркалируете, изменился, вы опубликуете исходную страницу и все ее отношения.

Сценарий публикации

Если у вас есть информация о стоимости обучения на вашем сайте в разделе «Прием в бакалавриат» (сайт / бакалавриат / плата за обучение), но вы также хотите, чтобы эта информация была доступна в разделе «Прием в аспирантуру», вы можете создать внутреннее зеркало страницы (сайт / выпускник / обучение). Если вам нужно обновить содержимое, внутреннее зеркало страницы нельзя редактировать напрямую; скорее, вы бы отредактировали исходную страницу (сайт / бакалавриат / обучение). Поскольку контент на странице выпускника «зеркально отражается», он обновляется одновременно, но обе страницы все равно должны быть опубликованы, чтобы изменения появились на вашем веб-сайте. После того, как вы отправите свои изменения на исходную страницу (сайт / бакалавриат / обучение), нажмите «Отношения», затем выберите «Опубликовать все отношения». Это опубликует все страницы вашего сайта, которые ссылаются на обновленное содержание.

Создание статического зеркала динамического сайта

У меня есть два динамических сайта, работающих на сервере, который я хочу списать; тем не менее, я хочу сделать резервную копию сайтов, как они выглядят в свой последний день.Часть меня не может выключить их, даже если они никоим образом не трогались почти десять лет. Сейчас более важным мотивом является то, что я не хочу продолжать платить за их размещение. Создание статических зеркал сайтов — следующая лучшая вещь: я сохраняю страницы и контент для ностальгии, но я могу выключить сервер хостинга.

Изначально я искал термин «парсер веб-сайтов», а затем поисковый робот, но на самом деле мне нужен был скорее клонер веб-сайтов. Я думал, что мне понадобится сложный набор инструментов, чтобы это работало.Или, по крайней мере, сам напишу код. Оказывается, это можно сделать с помощью программы, которую вы, возможно, уже знаете: wget — неинтерактивный сетевой загрузчик. Вот команда, которую я использовал для создания зеркала:

  wget -mpEk http://example.com
  

Флаги делают это мощным. Это рекурсивно проходит через весь сайт для создания зеркала; загружает все HTML, изображения, JS и CSS, используемые каждой страницей; сохраняет каждый динамический URL в статический файл; и, наконец, преобразует все ссылки на сайте в файлы, сохраненные wget .Эта последняя функция позволяет вам перемещаться по этому зеркальному сайту так же легко, как если бы вы были на самом фактическом сайте. См. Объяснение команды оболочки или wget --help для подробного объяснения.

Обратной стороной является то, что на Scrawlpoint часть контента видна только при входе в систему. Поддерживает ли wget сканирование веб-сайта при входе в систему? Действительно, это так. Вот команды, которые я использовал для создания зеркала как конкретный пользователь.

  # Войдите и сохраните учетные данные.wget --save-cookies cookies.txt \
  --keep-session-cookies \
  --post-data 'имя = имя пользователя и пароль = секрет' \
  --delete-после \
  http://example.com/login.php

# Используйте учетные данные для создания зеркала.
wget -mpEk --load-cookies cookies.txt http://example.com
  

Первая команда входит в систему как пользователь и сохраняет файлы cookie в файл. Эти файлы cookie затем передаются второй команде, которая создает зеркало. См. Объяснение команд оболочки wget save cookies и wget load cookies.Это отлично сработало для резервного копирования сайта WordPress и Scrawlpoint, сайта для хобби, который я создал, когда впервые изучал веб-разработку. Теперь у меня есть две копии Scrawlpoint: одна как существующий пользователь, другая как новый посетитель.

Было бы возможно сохранить доступность обоих сайтов, разместив статические зеркала, созданные только после выключения исходного сервера. Это круто! Мои следующие проекты — создать резервную копию кода (это было до того, как я узнал о контроле версий) и баз данных перед окончательным отключением сервера.

Я всегда благодарен за информацию, которая помогает мне указать правильное направление. Я использовал сообщение в блоге и вопросы о стеке, чтобы помочь мне с этим проектом.

Как настроить сайт-зеркало

Искать самые обновленные материалы

Последнее обновление страницы: 11.09.2018.

Эта страница содержит инструкции для:

Обратите внимание на это руководство по использованию материалов Суперкурса
  • Они предназначены для личного использования отдельными учеными и распространяются без ограничений среди ученых и учителей, но не могут быть проданы.
  • Если используется лекция Суперкурса, автор лекции должен быть правильно зачислено
  • Пожертвовать на Суперкурс | Свяжитесь с нами | Отказ от ответственности / Условия использования
  • Содержание и точность определяются исключительно авторами лекций.
Общая информация

Вы можете скачать только те лекции, которые хотите, с Суперкурса Веб-сайт.

Если вы скачиваете файлы Суперкурса или создаете зеркало сайта Суперкурса, пожалуйста зарегистрируйтесь, отправив свое имя, адрес электронной почты и страну по адресу: supercoursehelp @ gmail.com

Дополнительно ссылки на внешние Суперкурсы сделать доступными другие лекции (до 350).

Не используйте лекции с номерами: 7011, 7021, 11961, 11971, 21241, 21311, 22231, 22711-22731,2357-23651, 23881, 24041-24051, 30831-30871, 31091, 31171 (29 лекций).

Контактное лицо: По любым вопросам, касающимся загрузок Суперкурса, FTP или установка, пожалуйста, свяжитесь с Евгением по адресу [email protected] com

Получить все лекции Суперкурса

В настоящее время весь Суперкурс занимает около 8 ГБ из 59 zip-файлы, содержащие около 6000 лекций.

Чтобы пройти весь Суперкурс, выполните следующие действия. Обратите внимание, что ссылки чтобы все необходимые файлы включены внизу этой страницы.

  1. Создайте папку на жестком диске для хранения материалов Суперкурса.
    1. Для DVD назовите его, например, «Supercourse DVD».
    2. Чтобы работать с персонального компьютера, назовите его, например, «Суперкурс».
  2. Скопируйте base.zip (480Мб) в папку «Суперкурс» или «Суперкурс DVD».
  3. Распаковать base.zip. Обратите внимание, что создается несколько подпапок, в том числе одна называется «лекция».
  4. Скопируйте все файлы lecxxx-xxx.zip в подпапку «lecture».
  5. Распакуйте все файлы lecxxx-xxx.zip.

Теперь вы можете:

  • Запустите Суперкурс из файла index.htm в папке «Суперкурс».
  • Создайте DVD Supercourse, записав DVD, который включает в себя все содержимое папки «Суперкурс DVD».
Инструкция для DVD

Пожалуйста, прочтите инструкцию для использования и распространения DVD Supercourse.

Маркировка DVD

Вы можете пометить свой DVD, используя черновую этикетку DVD Суперкурса:

Для других партнеров вы можете одновременно добавить свой логотип и пояснение. размер как у нас или меньше. Пожалуйста, посмотрите это образец логотипа для украинского издания.

Получить «Легкий суперкурс»

Данная инструкция поможет вам создать копию «Легкого суперкурса». (1000 лекций на английском языке, версия от января 2009 г.) ваш персональный компьютер или компакт-диск. Обратите внимание, что ссылки ко всем необходимым файлам прилагаются внизу эта страница.

  1. Создайте папку на жестком диске для хранения материалов Суперкурса.
    1. Для DVD назовите его «Supercourse DVD».
    2. Чтобы работать с персонального компьютера, назовите его «Суперкурс».
  2. Скопируйте файл EnglishCDbase.zip на «Суперкурс» или «Суперкурс». папка.
  3. Разархивируйте английский CDbase.zip. Обратите внимание, что несколько создаются подпапки, в том числе одна под названием «лекция».
  4. Скопируйте все файлы EnglishCDx.zip в подпапку «lecture».
  5. Распакуйте все файлы EnglishCDx.zip.

Теперь вы можете:

  • Запустите Light Supercourse из файла index.htm в папке «Supercourse».
  • Создайте компакт-диск Light Supercourse, записав компакт-диск, содержащий все содержимое папки «Supercourse CD».
Инструкции и этикетка для компакт-диска

Пожалуйста, прочтите инструкции и черновик этикетки для компакт-диска Light Supercourse.

Создать сайт зеркала суперкурса

Чтобы создать сайт-зеркало Supercourse, выполните следующие действия.Пожалуйста, обрати внимание ссылки на все необходимые файлы включены в дно эта страница.

  1. Создайте на сервере папку «Суперкурс».
  2. Скопируйте в него файл base.zip.
  3. Распаковать base.zip. Обратите внимание, что создается несколько подпапок, в том числе одна называется «лекция».
  4. Скопируйте все файлы lecxxx-xxx.zip в подпапку «lecture».
  5. Распакуйте все файлы lecxxx-xxx.zip.

Ваша папка «Суперкурс» теперь содержит все файлы Суперкурса.Используйте веб-страницу index.htm в папке «Суперкурс». в качестве стартовой веб-страницы Supercourse.

Сообщите нам веб-адрес своего зеркала, отправив электронное письмо на адрес [email protected]

Зеркало обновления сайта

После настройки зеркала периодически проверяйте наличие обновлений / новых файлов. Вы можете проверить наличие новых, удаленных и обновленных файлов для Суперкурс на этой странице. Вам нужно только скачать те лекции, которые были загружены с того момента, когда вы в последний раз сделал обновление.

Зеркало списка сайтов

Пожалуйста, сообщите нам, если ваш адрес электронной почты изменится.

Файлы суперкурса


Файлы «Light Supercourse»


Что такое зеркальный сайт?

Что такое зеркальный сайт?

Mirror Site — дублирующая копия уже существующего веб-сайта, используемая для увеличения времени отклика для сайтов с большим объемом.

Это веб-сайт или набор файлов на компьютерном сервере, которые были скопированы на другой компьютерный сервер, так что этот сайт или файлы доступны из более чем одного места.Зеркальный сайт имеет собственный URL-адрес, но в остальном идентичен основному сайту. Устройства балансировки нагрузки позволяют легко масштабировать сайты с большим объемом, разделяя работу между несколькими зеркальными сайтами.

Зеркальный сайт обычно часто обновляется, чтобы гарантировать, что он отражает содержимое исходного сайта. В некоторых случаях исходный сайт может организовать зеркальный сайт в более крупном месте с более высокой скоростью соединения и, возможно, более близким к большой аудитории.

Если исходный сайт генерирует слишком много трафика, зеркальный сайт может обеспечить лучшую доступность сайта или файлов.Для веб-сайтов, которые предлагают копии или обновления широко используемого программного обеспечения, они позволяют сайту обрабатывать более крупные запросы и позволяют загруженным файлам доставляться быстрее. Microsoft, Sun Microsystems и другие компании имеют зеркальные сайты, с которых можно загрузить их программное обеспечение для браузеров.

Они используются для ускорения доступа к сайту, когда исходный сайт может быть географически удален от тех, кто обращается к нему. Зеркальный веб-сервер часто находится на континенте, отличном от основного сайта, что позволяет пользователям, находящимся рядом с сайтом, получить более быстрый и надежный доступ.

Зеркальное отображение веб-сайта — это форма зеркального копирования данных, выполняемая по многим причинам, в том числе:
  • Сохранить веб-сайт, который будет закрыт или прекращен
  • Разрешить более быструю загрузку из определенного или нескольких географических регионов
  • Дублирование данных в интересах свободы информации
  • Для предотвращения или противодействия цензуре данных
  • Расширить доступ к информации для более широкой аудитории в маркетинговых, политических, научных, гуманитарных или других целях
  • Для сохранения исторического содержания
  • Распределение нагрузки между несколькими серверами, к которым обращаются большие аудитории
  • Повышение доступности загрузки для локальных пользователей

Заключение

Вашей компании нужна помощь? Маркетинговое агентство MV3 имеет экспертов по маркетингу, готовых помочь вам. Свяжитесь с MV3 Marketing , чтобы начать свой бизнес.

«Вернуться к глоссарию

Manpage Ubuntu: httrack — автономный браузер: копирование веб-сайтов в локальный каталог

Источник: httrack_3.48.1-4ubuntu1_amd64
 
НАИМЕНОВАНИЕ
       httrack - автономный браузер: копирование веб-сайтов в локальный каталог

 
ОБЗОР
         httrack   [  url  ]...   [  -фильтр  ] ...   [  + фильтр  ] ...   [  -O,   - путь ] [ -% O, ​​  - корень ] [ -w, 
         --mirror ] [ -W,   --mirror-wizard ] [ -g,   --get-files ] [ -i,   - continue ] [ -Y , 
         --mirrorlinks ] [ -P,   --proxy ] [ -% f,   --httpproxy-ftp [= N] ] [ -% b,   --bind ] [ -rN, 
         --depth [= N] ] [ -% eN,   --ext-depth [= N] ] [ -mN,   --max-files [= N] ] [ - MN,   - макс. Размер [= N] ] [
         -EN,   - макс. Время [= N] ] [ -AN,   - макс. Скорость [= N] ] [ -% cN,   - соединение в секунду [= N] ] [ -GN, 
         --max-pause [= N] ] [ -% mN,   --max-mms-time [= N] ] [ -cN,   --sockets [= N] ] [  -TN,   --timeout [= N] 
       ] [ -RN,   --retries [= N] ] [ -JN,   --min-rate [= N] ] [ -HN,   --host-control [= N ] ] [ -% P, 
         --extended-parsing [= N] ] [ -n,   --near ] [ -t,   --test ] [ -% L,   --list ] [  -% S,   --urllist ]
       [ -NN,   --structure [= N] ] [ -% D,   --cached-delayed-type-check ] [ -% M,   --mime-html ] [ -LN, 
         --long-names [= N] ] [ -KN,   --keep-links [= N] ] [ -x,   --replace-external ] [ -% x, 
         --disable-passwords ] [ -% q,   --include-query-string ] [ -o,   --generate-errors ] [ -X, 
         --purge-old [= N] ] [ -% p,   --preserve ] [ -% T,   --utf8-conversion ] [ -bN,   --cookies [= N] ] [
         -u,   --check-type [= N] ] [ -j,   --parse-java [= N] ] [ -sN,   --robots [= N]  ] [ -% h,   --http-10 ] [
         -% k,   --keep-alive ] [ -% B,   --tolerant ] [ -% s,   --updatehack ] [ -% u,   - urlhack ] [ -% A, 
         --принять ] [ - @ iN,   --protocol [= N] ] [ -% w,   --disable-module ] [ -F,   --user-agent ] [ -% R, 
         --referer ] [ -% E,   --from ] [ -% F,   --footer ] [ -% l,   --language ] [ -C,   --cache [= N] ] [
         -k,   --store-all-in-cache ] [ -% n,   --do-not-recatch ] [ -% v,   --display ] [ - Q,   - не регистрировать 
       ] [ -q,   --quiet ] [ -z,   --extra-log ] [ -Z,   --debug-log ] [ -v,   - подробный ] [ -f, 
         --file-log ] [ -f2,   --single-log ] [ -I,   --index ] [ -% i,   --build-top-index  ] [ -% I, 
         --search-index ] [ -pN,   --priority [= N] ] [ -S,   --stay-on-same-dir ] [ -D,   - -can-go-down ]
       [ -U,   - можно подниматься ] [ -B,   - можно подниматься и опускаться ] [ -a,   - оставаться на одном месте -адрес ] [ -d, 
         --stay-on-same-domain ] [ -l,   --stay-on-same-tld ] [ -e,   --go-везде ] [ -% H, 
         --debug-headers ] [ -% !,   --disable-security-limits ] [ -V,   --userdef-cmd ] [ -% U,   --user ]
       [ -% W,   --callback ] [ -K,   --keep-links [= N] ] [

 
ОПИСАНИЕ
         httrack  позволяет загружать веб-сайт из Интернета на локальный компьютер.
       каталог, рекурсивно создавая все каталоги, получая HTML, изображения и другие файлы
       с сервера на ваш компьютер.HTTrack упорядочивает относительную ссылку исходного сайта -
       состав. Просто откройте страницу зеркального веб-сайта в своем браузере, и вы сможете
       просматривать сайт от ссылки к ссылке, как если бы вы просматривали его в Интернете. HTTrack также может
       обновить существующий зеркальный сайт и возобновить прерванные загрузки.

 
ПРИМЕРЫ
         httrack   www.someweb.com/bob/ 
               зеркало сайта www.someweb.com/bob/ и только этот сайт

         httrack   www.someweb.com/bob/   www.anothertest.com/mike/   + *. com / *. jpg   -mime: application / * 
               зеркалируйте два сайта вместе (с общими ссылками) и принимайте любые файлы .jpg на
              Сайты .com

         httrack   www.someweb.com/bob/bobby.html   + *   -r6 
              означает получение всех файлов, начиная с bobby.html, с 6 глубиной ссылок и возможностью
              везде в сети

         httrack   www.someweb.com/bob/bobby.html   --spider   -P   proxy.myhost.com:8080 
              запускает паука на www.someweb.com/bob/bobby.html через прокси

         httrack   - обновление 
              обновляет зеркало в текущей папке

         httrack 
              переведет вас в интерактивный режим

         httrack   - продолжение 
              продолжает зеркало в текущей папке

 
ОПЦИИ
     Общие   Опции: 
       -O путь для зеркала / файлов журналов + кеш (-O путь зеркала [, путь кеширования и файлы журналов]) (--path
              <параметр>)

       - корневой путь% O должен быть r00t (- корневой путь% O) (--chroot )

     Action   Опции: 
       -w * зеркало веб-сайтов (--mirror)

       -W зеркало веб-сайтов, полуавтоматическое (задает вопросы) (--mirror-wizard)

       -g просто получить файлы (сохраненные в текущем каталоге) (--get-files)

       -i продолжить прерванное зеркало, используя кеш (--continue)

       -Y зеркалировать ВСЕ ссылки, расположенные на страницах первого уровня (зеркальные ссылки) (--mirrorlinks)

     Прокси   варианты: 
       -P использование прокси (-P прокси: порт или -P пользователь: пароль @ прокси: порт) (--proxy <параметр>)

       -% f * использовать прокси для ftp (f0 не использовать) (--httpproxy-ftp [= N])

       -% b использовать это локальное имя хоста для создания / отправки запросов (-% b hostname) (--bind )

     Пределы   варианты: 
       -rN установить глубину зеркала на N (* r9999) (--depth [= N])

       -% eN устанавливает глубину внешних ссылок на N (*% e0) (--ext-depth [= N])

       -mN максимальная длина файла для файла, отличного от HTML (--max-files [= N])

       -mN, N2 максимальная длина файла для файлов, отличных от HTML (N) и HTML (N2)

       -MN максимальный общий размер, который может быть загружен / отсканирован (--max-size [= N])

       -EN максимальное время зеркалирования в секундах (60 = 1 минута, 3600 = 1 час) (--max-time [= N])

       -AN максимальная скорость передачи в байтах / секундах (1000 = 1 КБ / с макс) (--max-rate [= N])

       -% cN максимальное количество подключений в секунду (*% c10) (--connection-per-second [= N])

       -GN приостанавливать передачу, если достигнуто N байт, и ждать, пока файл блокировки не будет удален
              (--max-pause [= N])

       -% mN максимальное время загрузки mms-потока в секундах (60 = 1 минута, 3600 = 1 час)
              (--max-mms-time [= N])

     Поток   контроль: 
       -cN количество нескольких подключений (* c8) (--sockets [= N])

       -TN timeout, количество секунд после отключения неотвечающей ссылки (--timeout [= N])

       -RN количество попыток в случае тайм-аута или нефатальных ошибок (* R1) (--retries [= N])

       -JN контроль пробок, минимальная скорость передачи (байты / секунды) допустимая для ссылки
              (--мин-скорость [= N])

       -HN хост отменяется, если: 0 = никогда, 1 = тайм-аут, 2 = медленный, 3 = тайм-аут или медленный
              (--host-control [= N])

     Ссылки   варианты: 
       -% P * расширенный синтаксический анализ, попытка синтаксического анализа всех ссылок, даже в неизвестных тегах или Javascript
              (% P0 не использовать) (--extended-parsing [= N])

       -n получить файлы, отличные от HTML, рядом с файлом HTML (например, изображение, расположенное снаружи) (--near)

       -t проверять все URL (даже запрещенные) (--test)

       -% L  добавить все URL-адреса, расположенные в этом текстовом файле (по одному URL-адресу в строке) (--list )

       -% S <файл> добавить все правила сканирования, расположенные в этом текстовом файле (одно правило сканирования в строке)
              (--urllist <параметр>)

     Сборка   Варианты: 
       -NN тип структуры (0 * исходная структура, 1+: см. Ниже) (--structure [= N])

       -или пользовательская структура (-N "% h% p /% n% q.% t ")

       -% N отложенная проверка типа, не проводите проверку ссылок, а дождитесь начала загрузки файлов
              вместо этого (экспериментально) (% N0 не использовать,% N1 использовать для неизвестных расширений, *% N2 всегда
              использовать)

       -% D кэшированная проверка отложенного типа, не ждите удаленного типа во время обновлений, для ускорения
              их (% D0 ждать, *% D1 не ждать) (--cached-delayed-type-check)

       -% M генерирует полный архив RFC MIME-инкапсулированный (.mht) (--mime-html)

       -LN длинные имена (L1 * длинные имена / L0 8-3 преобразование / L2 совместимость с ISO9660)
              (--long-names [= N])

       -KN сохранить оригинальные ссылки (например,грамм. http: //www.adr/link) (K0 * относительная ссылка, K абсолютная
              ссылки, исходные ссылки K4, ссылки абсолютного URI K3, прозрачные ссылки прокси K5)
              (--keep-links [= N])

       -x заменить внешние html-ссылки страницами ошибок (--replace-external)

       -% x не включать пароль для внешних веб-сайтов, защищенных паролем (включая% x0)
              (--disable-passwords)

       -% q * включить строку запроса для локальных файлов (бесполезно, только для информации) (% q0
              не включать) (--include-строка-запроса)

       -o * сгенерировать выходной html-файл в случае ошибки (404..) (o0 не генерировать)
              (--generate-errors)

       -X * очистить старые файлы после обновления (X0 сохранить удаление) (--purge-old [= N])

       -% p сохранить файлы HTML как есть (идентично -K4 -% F "") (--preserve)

       -% T преобразование ссылок в UTF-8 (--utf8-conversion)

     Паук   Опции: 
       -bN принимать файлы cookie в файле cookies.txt (0 = не принимать, * 1 = принимать) (--cookies [= N])

       -u проверить тип документа, если неизвестен (cgi, asp ..) (u0 не проверять, * u1 проверять, но /, u2
              проверять всегда) (--check-type [= N])

       -j * анализировать классы Java (j0 не анализировать, битовая маска: | 1 анализировать по умолчанию, | 2 не анализировать
              .class | 4 не анализируйте .js | 8 не будьте агрессивны) (--parse-java [= N])

       -sN следовать за robots.txt и метатегами роботов (0 = никогда, 1 = иногда, * 2 = всегда, 3 = всегда
              (даже строгие правила)) (--robots [= N])

       -% h принудительно запрашивает HTTP / 1.0 (уменьшает возможности обновления, только для старых серверов или прокси)
              (--http-10)

       -% k по возможности использовать keep-alive, значительно сокращая задержку для небольших файлов и тестирования
              запросы (% k0 не использовать) (--keep-alive)

       - Допустимые запросы% B (на некоторых серверах принимаются поддельные ответы, но не стандартные!)
              (- терпимо)

       -% s хаки для обновления: различные хаки для ограничения повторных передач при обновлении (идентичный размер,
              поддельный ответ..) (--updatehack)

       -% u url hacks: различные хаки для ограничения повторяющихся URL (strip //, www.foo.com == foo.com ..)
              (--urlhack)

       -% A предполагает, что тип (cgi, asp ..) всегда связан с типом mime (-% A
              php3, cgi = text / html; dat, bin = application / x-zip) (--assume <параметр>)

       -может также использоваться для принудительного использования определенного типа файла: --assume foo.cgi = text / html

       - Интернет-протокол @ iN (0 = оба ipv6 + ipv4, 4 = только ipv4, 6 = только ipv6) (--protocol [= N])

       -% w отключить определенный внешний модуль mime (-% w htsswf -% w htsjava) (--disable-module
              <параметр>)

     Браузер   ID: 
       -F поле user-agent, отправляемое в заголовках HTTP (-F "имя пользователя-агента") (--user-agent <параметр>)

       - Поле referer по умолчанию% R отправляется в заголовках HTTP (--referer )

       -% E с адреса электронной почты, отправленного в заголовках HTTP (--from )

       - Строка нижнего колонтитула% F в Html-коде (-% F "Зеркально отражено [с хоста% s [файл% s [at% s]]]"
              (--footer <параметр>)

       -% l предпочтительный язык (-% l "fr, en, jp, *" (--language )

     Журнал,   индекс,   кэш 
       -C создать / использовать кеш для обновлений и повторных попыток (C0 без кеша, кеш C1 является приоритетным, * C2
              тестовое обновление до) (--cache [= N])

       -k хранить все файлы в кеше (бесполезно, если файлы на диске) (--store-all-in-cache)

       -% n не загружать повторно локально удаленные файлы (--do-not-recatch)

       -% v отображать на экране загруженные имена файлов (в реальном времени) - * Краткая версия% v1 -% v2
              полная анимация (--display)

       -Q без журнала - тихий режим (--do-not-log)

       -q без вопросов - тихий режим (--quiet)

       -z log - дополнительная информация (--extra-log)

       -Z журнал - отладка (--debug-log)

       -v войти на экран (--verbose)

       -f * войти в файлы (--file-log)

       -f2 один единственный файл журнала (--single-log)

       -I * сделать индекс (I0 не делать) (--index)

       -% i сделать верхний индекс для папки проекта (*% i0 не делать) (--build-top-index)

       -% Я делаю доступный для поиска индекс для этого зеркала (*% I0 не делает) (--search-index)

     Expert   Опции: 
       -pN режим приоритета: (* p3) (--priority [= N])

       -p0 просто сканировать, ничего не сохранять (для проверки ссылок)

       -p1 сохранять только html файлы

       -p2 сохранять только файлы, отличные от HTML

       - * p3 сохранить все файлы

       -p7 получить файлы html раньше, затем обработать другие файлы

       -S оставаться в том же каталоге (--stay-on-same-dir)

       -D * может входить только в поддиры (--can-go-down)

       -U может переходить только в верхние каталоги (--can-go-up)

       -B может перемещаться вверх и вниз по структуре каталогов (--can-go-up-and-down)

       -a * оставаться на том же адресе (--stay-on-same-address)

       -d оставаться в том же основном домене (--stay-on-same-domain)

       -l оставаться в том же TLD (например:.com) (--stay-on-same-tld)

       -e идти повсюду в сети (--go-везде)

       -% H отладочные HTTP-заголовки в файле журнала (--debug-headers)

     Guru   варианты:   (do   НЕ   используйте  , если   возможно) 
       - # X * использовать оптимизированный движок (ограниченные проверки границ памяти) (--fast-engine)

       - # 0 filter test (- # 0 * .gif www.bar.com/foo.gif) (--debug-testfilters )

       - # 1 упрощенный тест (- # 1./foo/bar/../foobar)

       - Тест типа # 2 (- # 2 /foo/bar.php)

       - # Список кешей C (- # C * .com / spider * .gif (--debug-cache )

       - # Восстановление кэша R (поврежденный кеш) (--repair-cache)

       - # d парсер отладки (--debug-parsing)

       - # E извлечь метаданные кеша new.zip в meta.zip

       - # f всегда очищать файлы журналов (--advanced-flushlogs)

       - # FN максимальное количество фильтров (--advanced-maxfilters [= N])

       - # h информация о версии (--version)

       - # K сканирование stdin (отладка) (--debug-scanstdin)

       - # L максимальное количество ссылок (- # L1000000) (--advanced-maxlinks)

       - # p отображать некрасивую информацию о прогрессе (--advanced-progressinfo)

       - # P URL перехвата (--catch-url)

       - # R старые подпрограммы FTP (отладка) (--repair-cache)

       - # T сгенерировать операции передачи.регистрировать каждую минуту (--debug-xfrstats)

       - # u время ожидания (--advanced-wait)

       - # Z генерирует статику скорости передачи каждую минуту (--debug-ratestats)

       - #! выполнить команду оболочки (- #! "echo hello") (--exec )

     Опасно   варианты:   (do   НЕ   используйте  , если   вы   точно   знаете   что   вы     делаете) 
       -%! обходить встроенные ограничения безопасности, чтобы избежать злоупотребления пропускной способностью (пропускной способностью,
              одновременные соединения) (--disable-security-limits)

       -ВАЖНЫЙ
              ПРИМЕЧАНИЕ: ОПАСНЫЙ ВАРИАНТ, ПОДХОДИТ ТОЛЬКО ДЛЯ СПЕЦИАЛИСТОВ.

       -ИСПОЛЬЗУЙТЕ ЕГО С БЕЗОПАСНОСТЬЮ

     Командная строка   специфические   параметры: 
       -V выполнять системную команду после каждого файла ($ 0 - имя файла: -V "rm")
              (--userdef-cmd <параметр>)

       -% U запускает движок с другим идентификатором при вызове от имени root (-% U smith) (--user )

       -% W использовать внешнюю библиотечную функцию в качестве оболочки (-% W myfoo.так [, мои параметры])
              (--callback <параметр>)

     Подробности:   Опция   N 
       -N0 Структура сайта (по умолчанию)

       -N1 HTML в сети /, изображения / другие файлы в сети / изображения /

       -N2 HTML в Интернете / HTML, изображения / прочее в Интернете / изображения

       -N3 HTML в сети /, изображения / прочее в сети /

       -N4 HTML в web /, изображения / прочее в web / xxx, где xxx - расширение файла (все gif
              будет размещен, например, в web / gif)

       -N5 Изображения / другое в Интернете / xxx и HTML в Интернете / HTML

       -N99 Все файлы в сети / со случайными именами (гаджет!)

       -N100 Структура сайта без www.domain.xxx/

       -N101 Идентично N1, за исключением того, что "web" заменяется названием сайта.

       -N102 Идентично N2, за исключением того, что "web" заменяется названием сайта.

       -N103 Идентично N3, за исключением того, что "web" заменяется названием сайта.

       -N104 Идентично N4, за исключением того, что "web" заменяется названием сайта.

       -N105 Идентично N5, за исключением того, что "web" заменяется названием сайта.

       -N199 Идентично N99, за исключением того, что "web" заменяется названием сайта.

       -N1001 Идентичен N1, за исключением того, что нет "веб-каталога"

       -N1002 Идентично N2, за исключением того, что нет "веб-каталога"

       -N1003 Идентичен N3, за исключением того, что нет "веб-каталога" (опция установлена ​​для опции g)

       -N1004 Идентичен N4, за исключением того, что нет "веб-каталога"

       -N1005 Идентичен N5, за исключением того, что нет "веб-каталога"

       -N1099 Идентичен N99, за исключением того, что нет "веб-каталога"

     Подробная информация:   Определяется пользователем   опция   N 
          % n Имя файла без типа файла (например, изображение)
          % N Имя файла, включая тип файла (например, image.gif)
          % t Тип файла (например, gif)
          % p Путь [без окончания /] (например: / someimages)
          % h Имя хоста (например: www.someweb.com)
          % M URL-адрес MD5 (128 бит, 32 байта ascii)
          Строка запроса% Q MD5 (128 бит, 32 байта ascii)
          % k полная строка запроса
          % r имя протокола (например, http)
          % q маленькая строка запроса MD5 (16 бит, 4 байта ascii)
             % s? Версия с кратким названием (например,% sN)
          % [param] переменная параметра в строке запроса
          % [param: before: after: empty: notfound] расширенное извлечение переменных

     Подробная информация:   Определяемая пользователем   опция   N   и   расширенный   переменная   экстракция 
          % [параметр: до: после: пусто: не найдено]

       -param: имя параметра

       -до
              : строка для добавления, если параметр был найден

       -after: строка для добавления, если параметр был найден

       -не найден
              : замена строки, если параметр не может быть найден

       -empty: замена строки, если параметр был пустым

       -все поля, кроме первого (имя параметра), могут быть пустыми

     Подробности:   Опция   K 
       -K0 foo.cgi? q = 45 -> foo4B54.html? q = 45 (относительный URI, по умолчанию)

       -K -> http://www.foobar.com/folder/foo.cgi?q=45 (абсолютный URL) (--keep-links [= N])

       -K3 -> /folder/foo.cgi?q=45 (абсолютный URI)

       -K4 -> foo.cgi? Q = 45 (исходный URL)

       -K5 -> http://www.foobar.com/folder/foo4B54.html?q=45 (URL прозрачного прокси)

     Ярлыки: 
       --зеркало
                    * сделать зеркало сайта (ов) (по умолчанию)

       --получать
                       получить указанные файлы, не искать другие URL-адреса (-qg)

       --список
                <текстовый файл> добавить все URL-адреса, находящиеся в этом текстовом файле (-% L)

       --mirrorlinks
               отражают все ссылки на страницах 1-го уровня (-Y)

       --testlinks
                 тестовые ссылки на страницах (-r1p0C0I0t)

       - паук
                    сайты-пауки, для проверки ссылок: отчеты об ошибках и предупреждениях (-p0C0I0t)

       --testsite
                  идентично --spider

       --скелет
                  создает зеркало, но получает только html файлы (-p1)

       --Обновить
                           обновить зеркало, без подтверждения (-iC2)

       --Продолжить
                         продолжить зеркало, без подтверждения (-iC1)

       --catchurl
                         создать временный прокси для захвата URL-адреса или URL-адреса публикации формы

       --чистый
                            стереть кеш и файлы журнала

       --http10
                           принудительно установить http / 1.0 запросов (-% h)

     Подробная информация:   Опция  % W:   Внешние   обратные вызовы   прототипы 
     см.   htsdefines.h 
 
ФАЙЛЫ
         /etc/httrack.conf 
              Общесистемный файл конфигурации.

 
ОКРУЖАЮЩАЯ СРЕДА
       HOME Используется, если вы определили в /etc/httrack.conf строку  путь   ~ / sites / # 

 
ДИАГНОСТИКА
       Сообщения об ошибках / предупреждениях отправляются на адрес  hts-log.txt  по умолчанию или в stderr, если параметр  -v  был
       указано.

 
ОГРАНИЧЕНИЯ
       Это основные ограничения HTTrack на тот момент. Обратите внимание, что мы не слышали
       о любой другой утилите, которая могла бы их решить.

       - Некоторые скрипты, генерирующие сложные имена файлов, могут их не найти (например:
       img.src = 'изображение' + a + Mobj.dst + '. gif')

       - Некоторые классы java могут не находить на них некоторые файлы (класс включен)

       - В некоторых случаях ссылки Cgi-bin могут работать некорректно (требуются параметры).Чтобы их избежать:
       используйте фильтры вроде - * cgi-bin *

 
ОШИБКИ
       Сообщайте об ошибках по адресу  .  Включите полный автономный пример
       это позволит воспроизвести ошибку и указать, какую версию httrack вы используете.
       Не забудьте указать используемые параметры, версию ОС и любую другую информацию, которую вы сочтете
       необходимо.

 
АВТОРСКИЕ ПРАВА
       Авторские права (C) 1998-2013 Ксавье Рош и другие участники

       Эта программа является бесплатным программным обеспечением: вы можете распространять и / или изменять ее в соответствии с условиями
       Стандартная общественная лицензия GNU, опубликованная Free Software Foundation, либо
       версии 3 Лицензии или (по вашему выбору) любой более поздней версии.Эта программа распространяется в надежде, что она будет полезной, но БЕЗ КАКИХ-ЛИБО ГАРАНТИЙ;
       даже без подразумеваемой гарантии ТОВАРНОЙ ПРИГОДНОСТИ или ПРИГОДНОСТИ ДЛЯ КОНКРЕТНОЙ ЦЕЛИ.
       Подробнее см. Стандартную общественную лицензию GNU.

       Вы должны были получить копию Стандартной общественной лицензии GNU вместе с этой программой.
       Если нет, см. .

 
НАЛИЧИЕ
       Самую последнюю выпущенную версию httrack можно найти по адресу:  http: // www.httrack.com 

 
АВТОР
       Ксавье Рош 

 
СМОТРЕТЬ ТАКЖЕ
       Документация  HTML  (доступна в Интернете по адресу  http://www.httrack.com/html/ ) содержит больше
       Подробная информация. См. Также  httrack   FAQ  (доступно на сайте
         http://www.httrack.com/html/faq.html )
 

Использование WGET для зеркалирования веб-сайтов

GNU WGET можно использовать для загрузки копий веб-сайтов.Это имеет ряд применений, в том числе позволяет использовать локальные инструменты (такие как find и grep) для исследования веб-сайта, создавать исторические копии веб-сайта для архивных целей и для зеркалирования веб-сайтов, особенно для работающих платформ веб-хостинга. хорошо работает со статическим контентом (таким как серверы / ускорители веб-кэширования или Google App Engine (см. «Практическое руководство: распределенный статический веб-хостинг с помощью Google App Engine»)). Эта статья предлагает подробное пошаговое руководство по настройке GNU WGET для быстрого и легкого создания зеркальных копий веб-сайтов.

О WGET

Следующее из руководства WGET (ссылка на руководство WGET)

GNU Wget — бесплатная утилита для неинтерактивной загрузки файлов из Интернета. Он поддерживает протоколы HTTP, HTTPS и FTP, а также поиск через HTTP-прокси.

Другое, чуть менее техническое описание WGET: GNU Wget — это бесплатное программное обеспечение, которое загружает файлы, как веб-браузер.

WGET — отличный инструмент, поскольку он позволяет автоматизировать загрузку файлов и веб-страниц с веб-сайтов через Интернет.То есть вы можете писать программы — сценарии — которые могут загружать файлы за вас.

Например, предположим, что есть новый файл данных, который вам нужно загружать каждый день для проекта, над которым вы работаете. К счастью для нас, эти файлы названы по дате. Вы можете использовать WGET для автоматической загрузки этих файлов через cron (для пользователей UNIX / Linux):

/ путь / к / wget http://www.example.com/files/`date +% Y-% m-% d`.csv

Будет загружен файл с текущей датой (в формате ГГГГ-ММ-ДД.csv, где YYYY — год, MM — месяц, а DD — день).

WGET также можно использовать для зеркалирования целых веб-сайтов, в результате чего у вас будет полная копия целевого веб-сайта. Это может быть полезно по любому количеству причин: от наличия локальной копии для просмотра в автономном режиме до возможности использовать инструменты поиска вашего компьютера (например, find и grep) для поиска определенного контента, до возможности зеркалирования целевого веб-сайта на вашем компьютере. служба веб-хостинга (например, Google App Engine).

Зеркальное отображение с WGET

Зеркало веб-сайта означает загрузку копии этого веб-сайта, так что зеркало является копией оригинала.

WGET по умолчанию загрузит запрашиваемую страницу и сохранит файл в том виде, в котором он был найден, без каких-либо изменений. Это может быть очень полезно для создания копии отдельной страницы или архива оригинала, но не очень полезно при зеркальном отображении веб-сайтов, особенно с динамическим (т. Е. Нестатическим) содержанием.

  1. Все ссылки в зеркале будут указывать на свои исходные местоположения. Итак, почему первая страница может пройти нормально, если вы перейдете по любой из ссылок на этой странице, они вернут вас к исходному
  2. Если какая-либо из этих веб-страниц имела расширения, отличные от.html (или .htm), ваш веб-браузер или веб-сервер, скорее всего, не будет их правильно интерпретировать. Если веб-браузер запрашивает URL-адрес с расширением .php, запрашиваемый веб-сервер будет использовать PHP для интерпретации страницы и отображения ее содержимого в форме, которую веб-браузер может понять, предположительно с типом MIME, подходящим для содержимого. . На самом деле это более сложно, но достаточно указать, что вы столкнетесь с проблемами

Итак, наше решение состоит в том, чтобы настроить WGET для перевода наших документов в форму, доступную локально.В частности, мы настроим его для перезаписи найденных ссылок, чтобы они указывали на их локальные эквиваленты, и мы сохраним весь веб-контент, у которого нет расширения .html, с расширением .html (и соответствующим образом переписываем ссылки).

В результате получается зеркало, которое можно просматривать как с веб-сервером, так и без него!

Это также дает нам интересное побочное преимущество: зеркало становится только статическим контентом, который можно легко использовать в качестве внешнего интерфейса для реального веб-сайта. Это может значительно ускорить загрузку веб-страницы и значительно снизить нагрузку на сервер!

Более того, поскольку статический веб-контент не обрабатывается веб-сервером (он просто считывается из файловой системы и передается непосредственно в браузер), вы можете значительно повысить безопасность своего веб-сервера, предоставив доступ только к статической копии Ваш сайт.Например, рассмотрим следующий сценарий:

Настроены два веб-сервера, один из которых доступен из Интернета и содержит только статический веб-контент (т. Е. Зеркало, созданное вами с помощью WGET), а другой — с вашей системой управления контентом (CMS), но доступ к нему возможен только из вашего локальная сеть. У вас даже может быть сеть доставки контента (CDN), обслуживающая ваш статический контент (например, Google App Engine; дополнительную информацию см. В разделе Howto: Distributed Static Web Hosting with Google App Engine).

С такой настройкой ваш веб-сайт может масштабироваться настолько, насколько вам нужно, оставаясь при этом очень простым в администрировании.

Запуск WGET

GNU WGET разработан для работы в среде UNIX / Linux. Его также можно запустить в системе Microsoft Windows, в которой установлена ​​среда CYGWIN (см. Http://www.cygwin.com/).

Команда

Следующая команда WGET будет зеркалировать веб-сайт.

/ путь / к / wget \

–рекурсивный \

–уровень = 10 \

–настройка-удлинитель \

–конвертировать-ссылки \

–безопасная конвертация \

–no-host-каталогов \

–страницы-реквизиты \

— отметка времени \

–force-html \

– префикс-каталога = / путь / к / каталогу /

http: // домен.tld /

Автоматизация WGET

Вы можете настроить WGET для запуска в качестве автоматизированной задачи через cron в вашей системе UNIX / Linux. Я предпочитаю создать короткий сценарий-оболочку, который cron может вызывать при необходимости для выполнения желаемого действия. Для вашего удобства предоставлен образец оболочки для WGET (ссылка на сценарий оболочки WGET: cp_website.sh).

Если бы я хотел загружать веб-сайт по адресу www.example.com один раз в день в 4 часа утра, я бы добавил в свой crontab следующее:

0 4 * * * $ HOME / bin / cp_website.sh «http://www.example.com/» $ HOME / archives / example.com / »

Это будет загружать «www.example.com» и сохранять его в «archives / example.com /» в моем домашнем каталоге каждый день в 4 часа утра. Примечания по синтаксису crontab см. В приложении ниже.

Приложение: Примечания из Руководства WGET

Ниже приведены примечания из руководства WGET. Переключатели, параметры и опции, предоставленные в команде, могут или не могут быть идеальными для вашего конкретного приложения, поэтому вот записи из руководства WGET, которые использовались при подготовке команды, упомянутой выше.

‘-r’, ‘–recursive’
Включите рекурсивное извлечение. Максимальная глубина по умолчанию — 5.
‘-l глубина’, ‘–level = depth’
Укажите максимальную глубину уровня рекурсии
‘-E’, ‘–adjust-extension’
Если загружен файл типа «application / xhtml + xml» или «text / html», а URL-адрес не заканчивается регулярным выражением «\. [Hh] [Tt] [Mm] [Ll]?», Этот параметр приведет к добавлению суффикса ‘.html’ к локальному имени файла. Это полезно, например, когда вы зеркалируете удаленный сайт, который использует «.asp ’, но вы хотите, чтобы зеркальные страницы были доступны для просмотра на вашем стандартном сервере Apache. Еще одно хорошее использование для этого — когда вы загружаете материалы, созданные с помощью CGI. URL типа

http://site.com/article.cgi?25

будет сохранен как:

article.cgi? 25.html

Обратите внимание, что имена файлов, измененные таким образом, будут повторно загружаться каждый раз, когда вы повторно зеркалируете сайт, потому что Wget не может сказать, что локальный файл X.html соответствует удаленному URL-адресу ‘X’ (поскольку он еще не знает, что URL-адрес производит вывод типа text / html или application / xhtml + xml.

Начиная с версии 1.12, Wget также гарантирует, что все загруженные файлы типа ‘text / css’ заканчиваются суффиксом ‘.css’, а параметр был переименован с ‘–html-extension’, чтобы лучше отражать его новое поведение. . Старое имя опции по-прежнему приемлемо, но теперь его следует считать устаревшим.

В какой-то момент в будущем этот параметр может быть расширен за счет включения суффиксов для других типов контента, включая типы контента, которые не анализируются Wget.

‘-k’, ‘–convert-links’
После завершения загрузки преобразуйте ссылки в документе, чтобы сделать их пригодными для локального просмотра.Это влияет не только на видимые гиперссылки, но и на любую часть документа, которая ссылается на внешнее содержимое, такое как встроенные изображения, ссылки на таблицы стилей, гиперссылки на содержимое, отличное от HTML, и т. Д.

Каждая ссылка может быть изменена одним из двух способов:

  • Ссылки на файлы, которые были загружены Wget, будут изменены, чтобы ссылаться на файл, на который они указывают, как относительную ссылку

  • Пример: если загруженный файл /foo/doc.html ссылается на / bar / img.gif, также загруженный, то ссылка в doc.html будет изменена и укажет на «../bar/img.gif». Такое преобразование надежно работает для произвольных комбинаций каталогов
  • Ссылки на файлы, которые не были загружены Wget, будут изменены, чтобы включать имя хоста и абсолютный путь к месту, на которое они указывают
  • Пример: если загруженный файл /foo/doc.html ссылается на /bar/img.gif (или на ../bar/img.gif), то ссылка в doc.html будет изменена так, чтобы указывать наhttp: // имя хоста / bar / img.gif
Благодаря этому локальный просмотр работает надежно: если связанный файл был загружен, ссылка будет ссылаться на его локальное имя; если он не был загружен, ссылка будет относиться к его полному интернет-адресу, а не указывать на неработающую ссылку. Тот факт, что прежние ссылки преобразуются в относительные, гарантирует, что вы можете переместить загруженную иерархию в другой каталог.

Обратите внимание, что только в конце загрузки Wget может узнать, какие ссылки были загружены.По этой причине работа, выполняемая «-k», будет выполняться в конце всех загрузок.

‘-K’, ‘–backup-convert’
При преобразовании файла сделайте резервную копию исходной версии с суффиксом «.orig». Влияет на поведение «-N»
‘-nH’, ‘–no-host-directories’
Отключить создание каталогов с префиксом хоста. По умолчанию при вызове Wget с помощью ‘-r http://fly.srk.fer.hr/’ создается структура каталогов, начинающаяся с fly.srk.fer.hr/. Эта опция отключает такое поведение.
‘-p’, ‘–page-Requisites’
Эта опция заставляет Wget загружать все файлы, необходимые для правильного отображения данной html-страницы. Сюда входят такие вещи, как встроенные изображения, звуки и таблицы стилей, на которые есть ссылки.

Обычно при загрузке одной HTML-страницы все необходимые документы, которые могут потребоваться для ее правильного отображения, не загружаются. Использование «-r» вместе с «-l» может помочь, но поскольку Wget обычно не различает внешние и встроенные документы, обычно остаются «конечные документы», в которых отсутствуют их реквизиты.

Например, скажем, документ 1.html содержит тег , ссылающийся на 1.gif, и тег , указывающий на внешний документ 2.html. Скажем, 2.html похож, но его изображение — 2.gif и ссылается на 3.html. Скажем, это продолжается до некоторого произвольно большого числа.

Если выполнить команду:

wget -r -l 2 http: //site/1.html

, то будут загружены 1.html, 1.gif, 2.html, 2.gif и 3.html. Как видите, в 3.html нет реквизита 3.gif, потому что Wget просто подсчитывает количество переходов (до 2) от 1.html, чтобы определить, где остановить рекурсию. Однако с помощью этой команды:

wget -r -l 2 -p http: //site/1.html

будут загружены все указанные выше файлы и 3.html необходимый 3.gif. Аналогично

wget -r -l 1 -p http: //site/1.html

вызовет загрузку 1.html, 1.gif, 2.html и 2.gif. Можно подумать, что:

wget -r -l 0 -p http: //site/1.html

загрузит только 1 файл.html и 1.gif, но, к сожалению, это не так, потому что «-l 0» эквивалентно «-l inf», то есть бесконечной рекурсии. Чтобы загрузить одну html-страницу (или несколько из них, все они указаны в командной строке или во входном файле URL-адреса ‘-i’) и ее (или их) реквизиты, просто оставьте ‘-r’ и ‘-l ‘:

wget -p http: //site/1.html

Обратите внимание, что Wget будет вести себя так, как если бы был указан «-r», но будет загружена только эта страница и ее реквизиты. Ссылки с этой страницы на внешние документы переходить не будут.Фактически, чтобы загрузить одну страницу и все ее реквизиты (даже если они существуют на отдельных веб-сайтах) и убедиться, что лот отображается правильно локально, этот автор любит использовать несколько параметров в дополнение к «-p»:

wget -E -H -k -K -p http: // сайт / документ

Чтобы завершить эту тему, стоит знать, что идея Wget для ссылки на внешний документ — это любой URL, указанный в теге , теге или теге , отличном от .

‘-N’, ‘–timestamping’
Включите отметку времени.
‘-F’, ‘–force-html’
Когда ввод считывается из файла, принудительно обрабатывать его как файл HTML. Это позволяет получать относительные ссылки из существующих файлов HTML на локальном диске, добавляя
в HTML или используя параметр командной строки ‘–base’.
‘-P prefix’, ‘–directory-prefix = prefix’
Установить префикс каталога как префикс. Префикс каталога — это каталог, в котором будут сохранены все другие файлы и подкаталоги, то есть верхняя часть дерева поиска.По умолчанию — «.» (Текущий каталог).

Приложение: Примечания из руководства crontab (раздел 5)

Следующее из руководства crontab связано с событиями времени, такими как выполнение сценариев WGET для зеркалирования веб-сайтов.

[…] строк в пользовательском crontab имеют пять фиксированных полей плюс команду в форме:

9000 2 минуты час день месяца месяц команда дня недели

Поля разделяются пробелами или табуляциями.Команда может состоять из одного или нескольких полей. Допустимые значения для полей:

Поле

Допустимые значения
минута
* или 0-59
час
* или 0-59
день месяца
* или 1-31
мес
* или 1-12 или имя (первые три буквы, без учета регистра)
день недели
* или 0–7 (0 и 7 — воскресенье) или имя (первые три буквы, без учета регистра)
команда
.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *