Блог карта сайта: карта сайта – как создать sitemap

Содержание

Карта сайта в 2020. Три эффективных практики, которые приносят результат

Какие моменты упускает большинство поисковых оптимизаторов?

Как правильно работать с картой сайта в 2020?

Рассмотрим практики по sitemap.xml, которые стоит применять на практике.

Разберемся с темой далее.

Карта сайта в 2020: практики, которые приносят результат


Практика №1. Трюк с использованием динамической sitemap.xml для индексации большого количества страниц сайта.

Смысл подхода заключается в автоматическом обновлении списка страниц в файле карты после посещения поисковым краулером страниц из sitemap.xml.

Схема такая:

  1. Карта sitemap.xml составляется из списка страниц, которые не попали в индекс поисковой системы;
  2. Краулер поисковой системы посещает карту сайта и индексирует объем страниц согласно краулинговому бюджету;
  3. Посещение краулера фиксируется в логах сервера;
  4. Из карты сайта удаляются адреса страниц, на которые зашел краулер поисковой системы;
  5. В карту добавляются следующий набор страниц подлежащих индексации.

Процесс поддается автоматизации.

Рекомендованный материал в блоге MegaIndex на тему краулингового бюджета по ссылке — Краулинговый бюджет сайта — что это и как его оптимизировать?

Такой трюк решает проблему с индексацией для агрегаторов, на которых размещается большое количество страниц. Пример агрегатора — 2yachts. На сайте большой объем страниц, постоянно происходит ротация страниц. Яхты добавляются и удаляются. Есть проблема с индексацией страниц. Решение проблемы описано выше.

Данный способ подходит для всех сайтов. Применяйте данный способ на практике. В результате проблему с индексацией страниц сайта можно решить.

Практика №2. Скрытие карты сайта в целях защиты от парсинга.

Если на сайте появляются новые страницы с уникальным и ценным контентом, карту сайта следует скрыть от третьих лиц.

Зачем? Технологии и инструменты для парсинга контента стали дешевыми. Парсеры сторонних проектов могут скопировать новый контент в автоматическом режиме, затем опубликовать на стороннем ресурсе и проиндексировать. Как результат, авторство закрепляется за сторонним сайтом, а оригинальные страницы теряют потенциал в поисковой выдаче.

Как скрыть карту? Шаги простые:

  1. Следует использовать альтернативный путь
    к карте сайта. Стандартный путь следующий — [адрес сайта]/sitemap.xml;
  2. Для поисковых систем указать ссылку на карту сайта через инструменты Google Search Console и Yandex Webmaster.

Допускается любой адрес к файлу и любое название файла карты сайта:

Как направить карту в поисковую систему на индексацию без подтверждения прав на сайт? Есть вариант использовать специальный инструмент ping. Просто подставьте адрес карты в шаблон ссылки и перейдите по ссылке.

https://www.google.com/ping?sitemap=[полный адрес карты сайта]

Пример для indexoid.com.
https://www.google.com/ping?sitemap=https://indexoid.com/sitemaps.xml

Практика №3.Создайте карту сайта для изображений, видео и новостей. Индексация страницы не означает индексацию изображений. Любой файл изображения является отдельным документом от страницы. Специальная карта сайта решит проблему с индексацией изображений на сайте.

Для изображений следует использовать специальный формат карты сайта.

Пример разметки:

<?xml version ="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">
<url>
<loc>http://example.com/primer.html</loc>
<image:image>
<image:loc>http://example.com/kartinka.jpg</image:loc>
</image:image>
<image:image>
<image:loc>http://example.com/photo.jpg</image:loc>
</image:image>
</url> 
</urlset> 

Поисковые оптимизаторы очень редко создают sitemap для изображений. Но направление по раскрутке картинок является перспективным. Начинать следует с автоматизации процесса индексации.

Почему это важно? Доля трафика поисковой системы Google Images в мире превышает отметку 20%. Для вебов поисковая система по картинкам является значимым источником трафика.

Рейтинг популярности поисковых систем в мире:

Рекомендованные материалы в блоге MegaIndex на тему раскрутки изображений по ссылкам далее:


Если на сайте есть новости, то сайт следует добавить в Google News и создать специальную sitemap для новостей.

Пример разметки:

<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:news="http://www.google.com/schemas/sitemap-news/0.9"> <url> <loc>http://www.example.org/business/article55.html</loc> <news:news> <news:publication> <news:name>The Example Times</news:name> <news:language>en</news:language> </news:publication> <news:publication_date>2008-12-23</news:publication_date> <news:title>Companies A, B in Merger Talks</news:title> </news:news> </url> </urlset>

Выше расписаны практики, которые позволяет наладить индексацию. Какие есть технические требования к карте сайта?

Технические требования


Какие ограничения установлены для файла sitemap? Максимальное количество страниц в карте сайта не должно превышать 50 000 ссылок, а максимальный допустимый размер файла не должен превышать 50 мегабайт.

Если страниц больше — не проблема.

Решения:

  1. Поисковые системы способны обрабатывать карты сайта в формате архива;
  2. Допускается создание 500 sitemap для одного сайта. Решение проблемы заключается в разгруппировке большой карты сайта на более мелкие.

Если файлов sitemap множество, то следует создать файл с индексом карт сайта, так называемый sitemapindex.

Пример разметки:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://site.com/sitemap1.xml.gz</loc>
</sitemap>
<sitemap>
<loc>https://site.com/sitemap2.xml.gz</loc>
</sitemap>
</sitemapindex>

Как проиндексировать карту сайта без добавления сайта в инструменты Yandex, Google? Есть 2 решения:
  • Использовать ping;
  • Прописать полный путь к карте сайта в файле директив для краулера robots.

Как без ошибок прописать путь к sitemap в robots.txt? Путь задается через указатель Sitemap.

Пример:

Sitemap: https://seoheronews.com/sitemap.xml
Sitemap: https://seoheronews.com/blog-sitemap.xml

В robots важны следующие нюансы:
  • Директива Sitemap указывается с заглавной буквы S;
  • Sitemap не зависит от инструкций User-Agent;
  • Нельзя использовать относительный адрес карты сайта, только полный адрес к карте.

Как создать sitemap? Задача по автоматизации sitemap.xml относится к нише разработки сайта.

Есть сервисы для создания карт сайта, но такие сервисы не особо полезны на практике.

  • xml-sitemaps.com
  • web-site-map.com
  • xmlsitemapgenerator.org
  • freesitemapgenerator.com
  • xsitemap.com

Кстати найти мелкие проблемы на сайте способен инструмент по аудиту сайтов от MegaIndex.

Ссылка на сервис — Аудит сайта.

Пример отчета для сайта seoheronews.com.

Выводы


Зачастую при продвижении карта сайта используется просто как файл со списком всех страниц сайта. Не более.

В основном на проектах данный файл является статическим. В таком случае sitemap не решает задачу по индексации всех страниц сайта ввиду ограничений краулингового бюджета.

Но потенциал применения карты сайта намного больше. Описанный выше трюк позволяет отладить

и автоматизировать процесс индексации всех страниц для любых сайтов, включая крупные проекты на десятки тысяч страниц.

Рекомендованный материал в блоге MegaIndex на тему индексации страниц сайта по ссылке — Как быстро проиндексировать страницы чужих сайтов. И зачем?

Специальная карта сайта для изображений решает проблему с индексацией графики.

Данный способ эффективен для магазинов. Для примера, на практике с помощью карты изображений удалось проиндексировать все изображения, которые были размещены на сайте магазина по продаже ламината. На магазин стал приходить трафик из поиска по изображениям. Дополнительных действий по внешнему продвижению не проводилось.

Есть вопросы? Как вы используете карту сайту? Напишите в комментариях.

Файлы sitemap для Blogger 2021

Для чего нужна карта сайта

Хорошая и качественная карта сайта является неотъемлемой частью поисковой оптимизации каждого сайта или блога. Она преподносит простой способ для владельцев сайтов отображать их содержимое в различных поисковых системах.

Есть отличные новости относительно файлов Sitemap для Blogger. Если у вас блог, работающий на платформе Blogger, вам больше не нужно беспокоиться о создании и обновлении пользовательской карты сайта. Теперь система автоматически создаст карту сайта в корневом каталоге, исключая необходимость использовать сторонние сервисы.

Динамические файлы Sitemap

Вам больше не нужно заниматься самостоятельной отправкой карты сайта в Google Webmaster Tools. Теперь Google автоматически создаст карту сайта для вашего блога на Blogger непосредственно при его создании. Вы можете просмотреть ее по адресу: http://www.yourdomain.com/sitemap.xml (например, http://www.shablonu-dlya-blogger.ru/sitemap.xml)

Как видите он создает отдельные страницы с содержимым вашего блога:

  • http://www.shablonu-dlya-blogger.ru/s-p.xml?page=1 
  • http://www.shablonu-dlya-blogger.ru/s-p.xml?page=2 
  • http://www.shablonu-dlya-blogger.ru/s-p.xml?page=3 

Чем больше постов, тем больше таких страниц. Раньше ведь файлы карты сайта создавались отдельно под 150 страниц блога, 500, 1000 и т.д.. Теперь же с выходом динамической карты в этом больше нет необходимости, если конечно не брать во внимание статические страницы, для них все так же нужно это делать.

Информация конечно запоздалая, ведь данное новшество действует еще с 2015 года. Но даже на сегодняшний день об этом мало кто знает.

Правда для статических страниц нужно все таки добавлять отельную карту сайта, ведь динамическая рассчитана, только для сообщений.

Как активировать статистику по файлам Sitemap в Google Search Console смотрим на скриншоте ниже:

Активируем статистику в Yandex. Для Яндекса делаем аналогичную процедуру.


Интересно то, что Яндекс Вебмастер в отличии от Google Search Console может подхватывать статистику из файла Robots.txt. То есть вовсе не обязательно добавлять файлы Sitemap вручную (как это указано на скриншоте выше), если путь к ним прописан в файле Robots.txt.

Апдейт по теме: Начало поступать много вопросов касательно того правильно ли работает карта сайта, ведь у некоторых она отображает ссылки, а не страницы pag=1, page=2, page=3, как указано в списке выше.

В этом нет ничего страшного, так и должно быть. Когда в блоге становится более чем 150 сообщений, карта сайта начинает групировать их в страницы, как указано в списке выше. А до тех пор, ваши файлы sitemap будут иметь именно такой вид, как на картинке. В конце скажу, что париться за карту сайта вообще не вариант, поскольку в Blogger вы никак на нее повлиять не сможете. Все делается системой автоматически, собственно ошибок там быть не может.

Sitemap для сайта – что такое, как создать, общие требования к карте сайта

Содержание статьи:

Sitemap — это структурированный список страниц сайта.
Существует 2 типа карт:

  • HTML-карта. Для посетителей.
  • Оглавление веб-ресурса c полным перечнем разделов страницы.

XML-карта. Для поисковых систем.

Каталог внутренних страниц сайта, “вшитый” в корневую папку интернет-ресурса. XMl-карта создается для поисковых роботов, которые, сканируя код sitemap, получают информацию для проведения индексации.

Задача sitemap — предоставить поисковикам доступ к содержимому сайта.
Таким образом, система находит все страницы ресурса и добавляет их в результаты поиска.
Карта сайта информирует роботов о таких показателях, как:

  • содержимое страницы: текст, видео, фото,
  • период обновления контента и последнее изменение,
  • дубли URL, 
  • приоритет страниц относительно друг друга.

Карта сайта нужна не всем площадкам. Например, лендингам или статичным одностраничникам.
В остальных случаях отсутствие sitemap приведет к проблемам с индексированием страницы.
Карта сайта необходима, если сайт обладает следующими свойствами:

  • крупный портал со сложной структурой и большим количеством страниц,
  • отсутствует внутренняя перелинковка страниц,
  • непрерывное обновление разделов,
  • новый веб-ресурс.

Существует два способа: с помощью онлайн-сервисов или плагинов CMS. Sitemap также можно создать вручную, но это займет определенное время и ресурсы.;

Онлайн-генераторы для создания карты сайта:

  • XML Sitemap Generator
  • Majento 
  • XML-Sitemaps
  • Cy-Pr

Принцип работы: Запускаем онлайн-сервис, вставляем  URL сайта, нажимаем на старт. После того, как карта сайта будет готова — скачиваем и добавляем sitemap в корневой каталог сайта.

Плюсы
  • Sitemap страницы не привязана к конкретному движку. 

  • Создание XML-карты возможно на любой CMS или для статического HTML-сайта.

Минусы
  • Подходит только для лендингов и сайтов-визиток. В случае, если сайт не будет обновляться — это идеальный вариант. XML-карта не подойдет для многостраничников, где регулярно обновляются страницы. Карта сайта статичная и не включает новые URL. То есть, при каждом обновлении, придется заново создавать sitemap. 

  • Ограничение по количеству URL-ов. У каждого генератора свой порог по  добавлению страниц. За последующие URL-ы взимается плата. 

Плагины CMS

  • WordPress: Yoast; 

  • Joomla: XMap; 
  • Drupal: XML Sitemap;
  • OpenCart: Yandex Sitemap;
  • 1C-Битрикс
Плюсы:
  • Удобство. Плагин позволяет контролировать и управлять свойствами карты сайта. 
  • Автоматическое обновление. Система генерирует sitemap после создания новых страниц и передает сообщение напрямую поисковикам. 
Минусы:
  • Процесс установки. В онлайн-генераторах карта сайта генерируется за пару кликов.
  • Плагин нужно сначала установить, после чего sitemap будет доступна.

XML-карта для изображений

Sitemap для картинок нужна по следующим причинам: 

  • Поисковики могут не проиндексировать все графические элементы страницы на сайте;
  • Отсутствие XML-карты для изображений приводит к ошибкам в основной sitemap;
  • Пользователи часто используют “поиск по картинкам”. Так, отдельная sitemap привлечет трафик и повысит показатели страницы. Карта сайта генерируется теми же инструментами, что и главная sitemap. С помощью плагинов, интернет-сервисов или вручную. Добавить карту можно как через отдельный файл, так и через теги в главной папке основной sitemap.

XML-карта для видео

Карта сайта обеспечивает: 

  • Лучшее ранжирование в результатах выдачи страницы. Поисковики приветствуют sitemap, так как она облегчает процесс индексации. Чем больше данных получает система, тем выше позиция сайта. 
  • Расширенную демонстрацию видео, что проводит дополнительный трафик.

HTML-карта, в отличие от XML-карты, работает на поведенческий фактор. Особенно это касается ресурсов с большим количеством вкладок. Структурированная навигация в виде карты сайта помогает пользователям ориентироваться на странице. 
В следующих CMS можно сгенерировать пользовательскую sitemap:

После установки и активации плагина, код готовой карты сайта вставляется на страницу ресурса. 

  • Карта сайта имеет кодировку UTF-8; 
  • Вес карты не более 10 мб;
  • Отсутствие ошибок 404 и экспериментальных страниц на сайте; 
  • Код ответа sitemap.xml —  200;
  • Количество ссылок не превышает 50000 адресов. В случае, если объем sitemap превышает допустимое количество — разбить карту сайта на несколько частей; 
  • Отсутствие конфликтующих файлов с robot.txt. Robot.txt — текстовой документ, который “помогает” поисковикам проиндексировать страницы. 

Как создать XML-карту сайта (и отправить ее в Google)

Так же, как вам может быть сложно найти новую дорогу без карты, Google может быть сложно найти все страницы на вашем сайте без карты сайта.

К счастью, можно быстро и легко создать карту сайта в XML-формате и отправить ее в Google.

Изучив основы, мы подробно рассмотрим, как это сделать.

(Уже знаете все основы? Щелкните здесь, чтобы сразу перейти к созданию файла Sitemap.)

Что такое карта сайта (файл Sitemap)?

Карта сайта (файл Sitemap) — это XML-файл, в котором перечислен весь важный контент вашего сайта. Все страницы или файлы, предназначенные для ранжирования в поисковиках, должны быть указаны в карте сайта.

Интересный факт

В картах сайта нельзя перечислять больше 50 000 ссылок, а их размер не должен превышать 50 МБ. Если содержимое файла Sitemap превышает один или несколько этих показателей, придется разбить его между несколькими картами.

Как выглядит sitemap.xml?

Sitemap.xml создается для поисковиков, а не людей. Он может выглядеть немного пугающе, если вы видите его впервые.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
	<url>
		<loc>https://ahrefs.com/</loc>
		<lastmod>2019-08-21T16:12:20+03:00</lastmod>
	</url>
	<url>
		<loc>https://ahrefs.com.com/blog/</loc>
		<lastmod>2019-07-31T07:56:12+03:00</lastmod>
	</url>
</urlset>

Давайте разберемся.

Объявление XML

<?xml version="1.0" encoding="UTF-8"?>

Эта строка сообщает поисковикам, что он имеет дело с XML-файлом. Здесь также указывается версия XML и используемая кодировка. Для карты сайта следует указать версию 1.0 и кодировку UTF‑8 (UTF‑8 использовать обязательно).

URL set

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

Это хранилище всех URL-адресов в карте сайта. Эта строка также сообщает краулерам, какой стандарт протокола используется. Большинство карт указывают стандарт Sitemap 0.90, поддерживаемый Google, Yahoo и Microsoft.

URL

<url>
<loc>https://ahrefs.com/</loc>
<lastmod>2019-08-21T16:12:20+03:00</lastmod>
</url>

Это родительский тег для каждой записи URL-адреса. Вы должны указать расположение URL-адреса во вложенном теге <loc>. Что особенно важно, необходимо использовать абсолютные URL-адреса, не относительными и каноническими.

Несмотря на то, что это единственный обязательный тег, у него могут быть дополнительные свойства:

  • <lastmod> — указывает дату последнего изменения файла. Она должна быть в формате W3C Datetime. Например, если вы обновили публикацию 25 сентября 2019 года, в атрибуте будет указано значение 2019-09-25. Дополнительно можно еще указать время.
  • <priority> — указывает приоритет URL-адреса относительно всех остальных URL-адресов на сайте. Значение указывается в диапазоне от 0.0 до 1.0. Чем больше значение, тем выше приоритет.
  • <changefreq> — указывает, как часто страница может меняться. Задача этого свойства — сообщить поисковикам о том, как часто им может понадобиться повторно сканировать URL-адреса. Допустимые значения: always (всегда), hourly (каждый час), daily (ежедневно), weekly (еженедельно), monthly (ежемесячно), yearly (ежегодно) и never (никогда).

Ни один из этих дополнительных тегов не особо важен для SEO.

Гэри Илш из Google утверждает, что они в основном игнорируют значение тега <lastmod>, поскольку в большинстве случаев “вебмастера совершенно не стараются следить за его точностью”. Это и неудивительно, ведь большинство генераторов карт сайтов устанавливают значение этого тега для всех страниц по текущей дате, а не по дате последнего изменения файла.

Тег <priority> в Google, по их словам, игнорируется, потому что это просто “лишний шум”.

Относительно тега <changefreq> Джон Мюллер говорит так: “Приоритет и изменение частоты на самом деле больше не играют такой большой роли, когда речь идет о карте сайта” .

Зачем вам нужна карта сайта?

Google обнаруживает новый контент, сканируя веб-страницы. Когда он сканирует страницу, то обращает внимание и на внутренние, и на внешние ссылки на эту страницу. Если обнаруженный URL-адрес не содержится в их поисковом индексе, они могут спарсить по нему контент и проиндексировать его, если это целесообразно.

Но таким образом Google не сможет найти весь контент. Если на страницу нет ссылок с других уже известных ему страниц, он ее вряд ли найдет ее.

Вот тут-то и вступает в игру карта сайта.

Карта сайта сообщает Google (и другим поисковикам), где найти наиболее важные страницы сайта, чтобы они могли их просканировать и проиндексировать. Это важно, потому что поисковики не могут ранжировать контент, предварительно не проиндексировав.

Как создать карту сайта

Некоторые CMS сгенерируют карту сайта для вас. Она будет обновляться автоматически, когда вы будете добавлять или убирать страницы и посты на вашем сайте. Если ваша CMS этого не делает, скорее всего вы можете установить для нее соответствующий плагин, который это умеет.

Создание карты сайта в WordPress

Хоть на WordPress и работает 35,5% всех сайтов, эта CMS сама не генерирует карту сайта. Чтобы создать ее, вам понадобится плагин наподобие Yoast SEO.

Чтобы установить Yoast SEO, перейдите в консоль WordPress.

Выберите пункт Плагины > Добавить новый.

Найдите “Yoast SEO”.

Нажмите кнопку “Установить” возле первого полученного результата, а затем кнопку “Активировать”.

Перейдите в раздел SEO > Общие > Возможности и убедитесь, что “XML-карта сайта” включена.

Теперь вы сможете увидеть файл sitemap (или индекса sitemap) по адресу yourdomain.com/sitemap.xml или yourdomain.com/sitemap_index.xml.

Примечание.

Если у вас WordPress установлен в подпапке или на субдомене, ваша карта сайта будет находиться там же. Например, карта сайта нашего блога доступна по ahrefs.com/blog/sitemap_index.xml.

СОВЕТ

Если вы хотите четко указать, какие типы контента (страницы тегов, категорий и т. д.) включить или исключить из вашей карты сайта, перейдите в раздел настроек “Отображение в поисковой выдаче”.

Вы также можете исключить отдельные посты или страницы в редакторе с помощью поля “Дополнительно”.

ВАЖНО. Исключайте из карты сайта только те страницы, которые не должны отображаться в результатах поиска.

Подробнее см. в нашем руководстве по SEO для WordPress.

Создание карты сайта в Wix

Wix автоматически создает для вас карту сайта. Она располагается по адресу yourwixsite.com/sitemap.xml.

К сожалению, у вас практически нет возможностей контролировать, какие страницы включаются в карту сайта. Если вы хотите исключить страницу, перейдите на вкладку настройки “SEO (Google)” на нужной странице и отключите параметр “Show this page in search results” (Отображать эту страницу в результатах поиска).

Отображать эту страницу в результатах поиска

Стоит отметить, что таким образом на страницу добавляется мета-тег noindex, который исключает ее из показа в результатах поиска.

Примечание.

Если вы добавите каноникал на другой URL-адрес в Wix, то неканонический URL-адрес не будет удален из карты сайта. Хоть это и не повлияет на большинство пользователей, включение неканонических страниц в файле sitemap — не лучшая практика, а также неоднозначный сигнал для Google.

Создание карты сайта в Squarespace

Squarespace также создает для вас карту сайта автоматически. Обычно ее можно найти по адресу yoursquarespacesite.com/sitemap.xml.

Ручное редактирование карты сайта в Squarespace невозможно, но вы можете исключить (используя тег noindex) страницы из выдачи поисковиков на вкладке “SEO”.

Скрыть страницу в результатах поиска

Такие страницы будут также исключены из вашей карты сайта.

Создание карты сайта в Shopify

Shopify генерирует для вас карту сайта автоматически. Ее можно найти по адресу yourstore.com/sitemap.xml.

К сожалению, легкого способа исключить страницу из индекса в Shopify не существует. Вам придется напрямую редактировать файлы .liquid.

Создание карты сайта без CMS

Если на вашем сайте около 300 страниц или менее, установите бесплатный краулер Screaming Frog.

После установки откройте раздел Mode > Spider.

Вставьте URL-адрес главной страницы в поле с подписью “Enter URL to spider”.

Нажмите кнопку “Start”.

Примечание.

Убедитесь, что используете каноническую (главную) версию стартовой страницы. Если вы этого не сделаете, Screaming Frog просканирует только один URL-адрес.

Когда сканирование завершится, обратите внимание на нижний правый угол.

Найдите похожую строку:

Если указанное число не превышает 499, перейдите в раздел Sitemaps > XML sitemap.

Поскольку для Google теги <lastmod>, <changefreq> и <priority> являются несущественными, мы рекомендуем не включать их в файл sitemap.xml.

Нажмите “Next” (Далее) и сохраните файл sitemap на компьютере. Готово.

Если в строке указано значение “500 из 500”, то нет смысла экспортировать файл sitemap. Почему? Потому что вы достигли лимита сканирования для вашего сайта, а это значит, что в экспортированном файле sitemap может не быть сотен страниц, что делает его непригодным для использования.

Один из способов решить эту проблему — подобрать другой бесплатный генератор карты сайта. Их очень много.

К сожалению, большинство таких генераторов ненадежны.

Мы протестировали некоторые из наиболее популярных генераторов и обнаружили, что многие из них включают в карту сайта неканонические URL-адреса, неиндексируемые страницы и редиректы. Для SEO это плохо.

ГенераторВключает канонизированные URL?Включает noindexed URL?Включает редиректы?
xml-sitemaps.comДа ❌Нет ✅Нет ✅
web-site-map.comДа ❌Нет ✅Нет ✅
xmlsitemapgenerator.orgДа ❌Нет ✅Нет ✅
smallseotools.com/xml-sitemap-generatorДа ❌Да ❌Да ❌
freesitemapgenerator.comДа ❌Да ❌Да ❌
duplichecker.com/xml-sitemap-generator.phpДа ❌Да ❌Да ❌
xsitemap.comДа ❌Да ❌Да ❌

Где же найти решение?

Если Screaming Frog не смог просканировать весь ваш сайт, просканируйте его с помощью инструмента Аудит Сайта Ahrefs.

Примечание.

Подтвердите, что это ваш сайт, чтобы сканирование прошло быстрее. Вот как это сделать.

Как только сканирование завершится, перейдите в Page Explorer и добавьте следующие фильтры.

Нажмите Export > Current table view.

Откройте экспортированный CSV-файл, а затем скопируйте и вставьте все URL-адреса из столбца URL в этот инструмент.

Нажмите кнопку “Add to queue” (Добавить в очередь), а затем “Export queue as sitemap.xml” (Экспортировать список в файл sitemap.xml).

Полученный файл будет готовой картой вашего сайта.

Как отправить карту сайта в Google

Для начала вам нужно узнать, где находится карта сайта.

Если вы используете плагин, скорее всего правильный URL-адрес карты будет domain.com/sitemap.xml.

Если вы делаете это вручную, назовите вашу карту сайта sitemap.xml и загрузите ее в корневой каталог вашего веб-сайта. После этого карта сайта станет доступна по адресу domain.com/sitemap.xml.

Примечание.

Вы можете выбрать любое имя для карты сайта, но наилучшей практикой будет придерживаться названия sitemap.xml. Если у вас несколько карт, можно использовать простую схему именования, например, sitemap_1.xml, sitemap_2.xml.

Выберите Google Search Console > Файлы Sitemap > Добавить URL-адрес файла Sitemap, а затем нажмите кнопку “Отправить”

Готово.

СОВЕТ

Хорошей практикой является добавление URL-адресов файлов sitemap в файл robots.txt.

Вы можете найти этот файл в корневом каталоге вашего веб-сервера. Чтобы добавить URL-адрес файла sitemap, откройте файл robots.txt и вставьте следующую строку:

Sitemap: https://www.yourdomain.com/sitemap.xml

URL-адрес из примера необходимо заменить на URL-адрес вашей карты сайта.

Если у вас несколько карт, добавьте такую строку для каждой из них.

Sitemap: https://www.asos.com/sitemap_1.xml

Sitemap: https://www.asos.com/sitemap_2.xml

Исправление основных ошибок веб-сайта, которые влияют на карту сайта

Google Search Console сообщает вам о большинстве технических ошибок, относящихся к карте сайта.

Например, в этом предупреждении сообщается, что один из отправленных URL-адресов заблокирован в robots.txt:

Вы можете больше узнать об этих проблемах и способах их решения здесь.

Однако существуют проблемы, о которых Google вам не сообщит.

Ниже приведены две наиболее распространенные такие проблемы, а также способы их выявления и устранения.

Бесполезные страницы низкого качества в вашей карте сайта

Каждая страница в вашей карте сайта должна быть индексируемой и канонической.

К сожалению, это не означает, что все эти страницы высокого качества. Если у вас много контента, скорее всего в вашей карте найдется несколько страниц низкого качества.

Например, эти две страницы в интернет-мазагине:

Ни одна из них не несет ценности для пользователя, но все же они находятся в карте этого сайта, и Google проиндексировал обе из них.

Чтобы найти эти страницы, перейдите в раздел Site Audit (Аудит сайта) > Duplicate content

Ищите кластеры дублированных или частично дублированных (в большую сторону) страниц без каноникалов. Они представлены оранжевыми квадратиками. Щелкните по одному из них, чтобы увидеть все страницы из этой группы.

Проверьте эти страницы, чтобы понять, представляют ли они какую-либо ценность.

Держать на сайте страницы низкого качества плохо по трем причинам:

  • Они впустую расходуют краулинговый бюджет. Заставлять Google терять время и ресурсы, сканируя бесполезные страницы низкого качества — не лучшая идея. Он бы мог посвятить это время сканированию более важного контента. (Во избежание недоразумений: Google утверждает, что краулинговый бюджет — это не “что-то, о чем большинству издателей стоит беспокоиться”.)
  • Они “крадут” авторитетность ссылки у более важных страниц. Существует явная корреляция между авторитетностью страниц и их позициями в выдаче. Внутренние ссылки на страницы низкого качества снижают авторитетность, которая могла бы перетекать на более важные страницы. (Что примечательно, когда мы удалили почти ⅓ постов из блога Ahrefs, мы заметили увеличение трафика, а не его снижение.)
  • Они приводят к плохому взаимодействию с пользователем. Никакой пользы при посещении этих страниц пользователи не получают, и они могут сразу уйти, если решат, что ваш сайт низкого качества или вообще заброшен.

Подводя итог, лучший план действий — это удалить страницы низкого качества с вашего сайта и, следовательно, из карты сайта. Если вы это сделаете, стоит помнить, что нужно также удалить все внутренние ссылки на эти страницы. Если вы об этом забудете, то вместо одной проблемы (низкокачественные страницы) вы приобретете другую (битые ссылки).

Помимо дубликатов и неполных дубликатов, вы можете поискать страницы с бесполезным контентом.

Просто проверьте отчет “On-Page” в инструменте “Аудит сайта” для страниц с предупреждением о малом количестве слов (Low word count).

Страницы, исключенные из карты сайта по ошибке

Если вы использовали любые из указанных ранее методов генерации карты сайта, то в нее не попадут страницы с тегами noindex или canonical (не ссылающиеся на себя).

Это хорошо. Не стоит включать неканонические URL-адреса или неиндексируемые страницы в карту сайта.

Таким образом, если у вас на сайте есть некорректные теги noindex, страницы могут быть исключены по ошибке.

Чтобы проверить веб-сайт на наличие таких ошибок, воспользуйтесь отчетом “Indexability” (Индексируемость) в инструменте “Аудит сайта”. Обратите внимание на предупреждения “Noindex page” (Неиндексируемая страница), указывающие на все неиндексируемые страницы.

Большая их часть, скорее всего, будет исключена из индекса специально, однако этот список стоит перепроверить. Обычно некорректные теги noindex легко заметить, поскольку они будут касаться целого подраздела вашего сайта.

Если вы видите страницы, которые все же должны быть проиндексированы, удалите тег noindex со страницы и добавьте ее в вашу карту. Если вы используете CMS или плагин, добавление должно произойти автоматически.

ПРОФЕССИОНАЛЬНЫЙ СОВЕТ

Стоит проверить сайт на некорректные каноникалы и редиректы. Чтобы это сделать, перейдите в Page Explorer и используйте такие фильтры:

Проверка некорректных каноникалов.

Проверка некорректных редиректов.

Удалите некорректно указанные каноникалы и редиректы, затем добавьте затронутые страницы в вашу карту сайта.

Вопросы и ответы

Вот несколько ответов на часто задаваемые вопросы о картах сайта. Сообщите нас, если у вас появился вопрос, на который в этом разделе нет ответа, и мы добавим его.

Нужна ли карта сайта для страниц AMP?

Нет.

@Kfowler325 No need for sitemaps for AMP pages — the rel=amphtml link is enough for us.

— 🍌 John 🍌 (@JohnMu) 13 October 2016

Для AMP-страниц карта сайта не нужна — ссылки rel=amphtml будет достаточно.

Как создать карту сайта для проекта электронной коммерции?

Карта для сайта электронной коммерции создается так же, как и для любого другого. Однако, в таких проектах стоит уделить особое внимание проверке страниц на дубликаты или неполные дубликаты, поскольку они часто проскальзывают сквозь пальцы в больших количествах из-за фасетной навигации.

Заключение

Создание карты сайта это вам не бином Ньютона, особенно если вы используете плагин, который все делает вместо вас. Не так уж сложно и создать карту с нуля — просто просканируйте сайт и отформатируйте список URL-адресов.

Важно помнить, что Google не должен индексировать страницы в вашей карте сайта, а также то, что карта сайта никак не взаимосвязана с ранжированием.

Если вы хотите ранжироваться выше в Google, прочтите этот пост.

Остались вопросы? Напишите мне в комментариях или в Twitter.

Trans­la­tion: Ole­sia Korob­ka, SEO in Fajela.

Blogger: Карта сайта для Blogger

Карта сайта для Blogger

Как сделать карту для блога . В этом нам поможет скрипт на основе ленты фида вашего блога, он автоматически генерирует заголовки всех постов. Сама страница оглавления очень удобна для читателя, решившего ознакомиться с содержанием блога

1. Простая карта блога, подойдёт для тех у кого мало сообщений.
2.Содержание блога с эффектом аккордеона, для блогов с большим количеством статей.
3.Стильная карта блога, тоже самое, у кого много постов.

 Простая карта, новые сообщения помечаются значком New !!

Для того чтобы установить такую карту в блог, нужно создать статическую страницу и в режиме HTML вставить такой скрипт:

<script src=»http://dl.dropbox.com/u/48089857/sitemap1.txt»></script>
 <script src=»###/feeds/posts/default?max-results=9999&amp;alt=json-in-script&amp;callback=loadtoc»>
 </script>
Заменяем решетки на URL адрес вашего блога. 

Создание карты блога с эффектом аккордеона для Blogger

<link href=»http://abu-farhan.com/script/acctoc/acc-toc.css» media=»screen» rel=»stylesheet» type=»text/css»></link>
 <script src=»http://abu-farhan.com/script/acctoc/daftarisiv2-pack.js»></script>
 <script src=»###/feeds/posts/summary?max-results=1000&alt=json-in-script&callback=loadtoc»></script>
 <script type=»text/javascript»>
 var accToc=true;
 </script>
 <script src=»http://abu-farhan.com/script/acctoc/accordion-pack.js» type=»text/javascript»></script>

Меняем решетки на адрес блога.


 Стильная карта блога, тоже самое, у кого много постов


Здесь так же как и у карты с эффектом аккордеона, при нажатии на крестик определённого ярлыка, открываются все названия сообщений. Очень удобно, занимает меньше места.

Такую карту делаем с помощью такого скрипта:

<link href=’https://dl.dropbox.com/u/20885327/toggle_function.css’ media=’screen’ rel=’stylesheet’ type=’text/css’></link>
 <script src=’https://dl.dropbox.com/u/20885327/toggle_function.js’ type=’text/javascript’></script>
 <script src=’https://dl.dropbox.com/u/20885327/toggle_toc.js/’ type=’text/javascript’></script>
 <script src=’###/feeds/posts/summary?max-results=1000&amp;alt=json-in-script&amp;callback=loadtoc’></script>
 <script type=’text/javascript’>
var accToc=true;
 </script>

Вместо решеток вставляем url адрес вашего блога

Как правильно настроить карту сайта (Sitemap.xml)?

XML-карта сайта (Sitemap.xml) подсказывает поисковым системам (в том числе Google) как структурирован контент на сайте. Файл Sitemap.xml можно создавать для текстовых страниц, изображений, видео.
Для пользователей нужно создавать другую карту — в формате HTML.

Хотя большинство пользователей не знают о существовании HTML-карты сайта, но, все же, поисковые системы советуют создавать обе карты для улучшения индексации сайта.

Подробнее о карте сайта Вы можете узнать в справке Google «Настройка файла Sitemap».

Когда нужна XML-карта сайта?

Карта сайта помогает оптимизировать сканирование сайта поисковыми роботами. Особенно, если:

  • сайт имеет много страниц — поисковый робот может пропустить новые или измененные страницы;
  • сайт имеет много не связанных друг с другом страниц — плохая внутренняя перелинковка;
  • сайт новый и имеет мало ссылок с внешних ресурсов — поисковый робот плохо видит сайты на которые мало ссылок;
  • на сайте есть мультимедийный контент — поисковый робот получит дополнительную информацию о контенте сайта.

Почему так важна карта сайта?

Если сайт не имеет Sitemap, поисковику приходится самому:

  • искать новые страницы на сайте;
  • искать изменения на старых страницах;
  • определять, какие страницы стоит индексировать в первую очередь;
  • определять периодичность индексации сайта.

Поскольку в Интернете сейчас находится огромное количество сайтов, поисковому краулеру тяжело за всеми уследить. В итоге он заходит на сайт, индексирует несколько страниц и уходит. Поэтому четкие инструкции помогают ему быстрее справится с индексацией.

Как сформировать Sitemap.xml?

Есть множество сервисов и программ для создания XML-карты сайта. Например, сервисы: MySitemapGenerator, SaitRepors, HTML Web, Cy-Pr. К сожалению, эти сервисы имеют недостатки, которые могут все испортить:

  1. Ограничение по количеству URL-ов (за генерацию всех страниц придется платить деньги).
  2. Сформированную карту придется регулярно обновлять, так как она не динамическая (автоматически не обновляется).

Если у Вас масштабный и регулярно обновляемый блог или интернет-магазин, будет хлопотно постоянно создавать и перезаливать карту сайта.
Поэтому наши программисты настраивают автогенерацию Sitemap.xml для всех проектов.

Правила составления Sitemap.xml

  1. Карта сайта должна быть доступна по адресу: site.com.ua/sitemap.xml.
  2. Карта сайта должна выглядеть так:

    Следите за тем, чтобы карта сайта содержала версии страниц на всех использованных языках (украинский, русский и т.д.).

  3. Карта сайта не должна конфликтовать с файлом robots.txt. Если Вы закрыли определенные страницы в robots.txt, то и в sitemap.xml их не должно быть.
  4. В карте сайта не должно быть более 50 000 урлов. Если их больше — нужно разбить карту на несколько частей, например по типу страниц.
  5. Карта не должна «весить» более 10 Мб.
  6. Карта сайта не должна содержать несуществующих (404) и тестовых страниц.
  7. После создания и добавление карты на сервер:
    • добавьте адрес sitemap в файл robots.txt:
    • добавьте карту сайта в Google Search Console:

Заключение

Карта сайта — это динамический файл, который должен регулярно обновляться. Регулярно тестируйте ее доступность в адресной строке и в Google Search Console. А за профессиональной раскруткой сайта обращайтесь к нам! Хорошей Вам индексации!

Как создать карту сайта sitemap.xml

Обновил Сергей Алмакин

Даже в 2021 году XML-карта нужна: этот инструмент по-прежнему используется краулерами Google и «Яндекс» – для ускорения индексации и получения технической информации о страницах. Из этой статьи вы узнаете, что такое sitemap.xml, зачем нужна XML-карта сайта, как ее создать и настроить правильно.

Что такое карта сайта, и зачем она нужна

В этом руководстве будем говорить преимущественно о картах сайта для поисковых систем. Это XML-документы, которые содержат служебную информацию. Они помогают поисковым роботам ориентироваться на сайтах и эффективно их индексировать.

Также существуют карты сайта для живых посетителей. Их еще называют HTML-картами. Они представляют собой каталог страниц сайта с отображением иерархии. HTML-карта помогает посетителям путешествовать по сайту и искать нужные страницы.

XML и HTML – языки разметки.

HTML-карты – устаревший и не очень удобный элемент навигации, поэтому уделим им немного внимания в конце статьи. А пока сосредоточимся на XML-картах, которые важны для корректной индексации ресурсов.

Зачем нужна карта сайта sitemap.xml

Подробно об этом можно прочитать в справочниках от Google и «Яндекса». Краткая суть: в sitemap.xml содержится важная для поисковых роботов информация. Это:

  • Список URL страниц сайта и их иерархия.
  • Тип опубликованного контента, например, изображения или видео.
  • Информация об изображениях и видео, которые поисковики используют для индексирования сайта и формирования выдачи.
  • Сведения о частоте обновления и последнем обновлении страницы.
  • Сведения о приоритетности страницы.
  • Данные об альтернативных версиях страницы.

Те есть карта сайта – навигатор для поисковых систем.

Можно ли обойтись без sitemap.xml

Можно. Поисковые системы считают XML-карту сайта рекомендованным инструментом. Например, если на сайте нет sitemap.xml, «Яндекс» отметит это в списке возможных, а не критичных или фатальных проблем.

Роботы – не дураки, они проиндексируют сайт и без sitemap.xml. Но в некоторых ситуациях отсутствие XML-карты приводит к проблемам с индексированием. Вот примеры:

  • На сайте есть страницы, на которые нет ссылок с других страниц сайта.
  • Сайт очень большой, у него сложная структура.
  • Новый сайт.
  • Многие страницы сайта регулярно обновляются.
  • На сайте есть более и менее важные страницы.

Рекомендация: если у вас коммерческий сайт, от посещаемости которого зависит успех бизнеса, создайте и подключите sitemap.xml. Ниже подробно описано, как это сделать.

Как создать и подключить файл sitemap.xml

Создать карту сайта можно двумя способами. Первый – сделать sitemap.xml можно с помощью внешнего онлайн-генератора. Второй – понадобится модуль или внутренний генератор для конкретной CMS. Рассмотрим оба способа.

Как создать карту сайта онлайн с помощью генератора

Этот способ хорош тем, что вы не привязываетесь к конкретному движку. С помощью онлайн-генераторов можно сделать sitemap.xml для сайта на любой CMS или для статичного сайта на HTML.

У этого способа есть недостаток. Он подходит для сайтов с ограниченным количеством страниц, например, для сайтов-визиток. Если на сайте пять страниц, а новые создавать вы не планируете, сделайте sitemap.xml один раз с помощью бесплатного внешнего сервиса. Примеры будут дальше.

Если на сайте постоянно появляются новые страницы, бесплатные внешние генераторы не подходят. Они не включают в карту сайта новые URL, поэтому sitemap.xml теряет актуальность.

Вот несколько генераторов карты сайта:

Чтобы создать sitemap.xml с помощью XML-Sitemaps, укажите URL сайта и нажмите кнопку Start.

В зависимости от масштабов сайта и суммарного количества страниц придется подождать. От нескольких секунд до нескольких минут:

В нашем случае сканирование сайта с 541 страницей в поиске «Яндекса» заняло около 4 минут. После того, как карта будет сформирована, скачайте файл sitemap.xml на жесткий диск. Для этого нажмите кнопку VIEW SITEMAP DETAILS:

Откроется подробная детализация созданной карты. Можете ознакомиться с ней и затем нажать DOWNLOAD YOU XML SITEMAP FILE:

Теперь загрузите sitemap.xml в корневую директорию на сайте. Это можно сделать с помощью FTP-клиента, например, FileZilla. У нас есть руководство по работе с этой программой. Еще легче – при помощи файлового менеджера используемого вами хостинга. Например, вот файловый менеджер хостинга Beget:

Если не знаете, где находится корневой каталог сайта, найдите файл index.html или index.php:

Как создать карту сайта с помощью дополнительных модулей для CMS

Этот способ создания карты сайта более удобный по сравнению с бесплатными онлайн-генераторами. Он обеспечивает дополнительную гибкость: вебмастер может управлять параметрами sitemap.xml. Кроме того, надстройки автоматически обновляют карту сайта после создания новых страниц и уведомляют об этом поисковые системы.

Если ваш сайт работает на WordPress, обратите внимание на плагин Google XML Sitemaps. Установите и активируйте модуль. Перейдите на страницу настроек. В базовых параметрах включите уведомления для Google, добавьте URL карты сайта в robots.txt и включите сжатие файла sitemap.xml:

В разделе «Приоритет статьи» отключите автоматический расчет приоритета публикаций. Позже вы укажете приоритеты страниц вручную.

Уделите внимание разделу «Содержание карты сайта». Включите в sitemap.xml только те типы страниц, которые нужны вам в индексе поисковых систем.

Например, если у вас интернет-магазин, имеет смысл включить в карту сайта страницы категорий и меток. В этом случае поисковики будут показывать пользователям страницы каталога, например, рубрику «Смартфоны» или страницу каталога с товарами, помеченными тегом «детский». Если страницы меток и категорий в выдаче не нужны, не включайте их в карту сайта.

Обязательно отметьте галочкой опцию Include the last modification time. В этом случае плагин укажет в карте сайта дату последнего обновления публикации. Эта информация нужна роботам, чтобы планировать повторное сканирование страниц.

В разделе Excluded Items при необходимости исключите из карты сайта отдельные категории или страницы.

В разделе Change Frequencies можно попросить поисковые системы индексировать те или иные типы страниц с определенной периодичностью. Поисковики, скорее всего, проигнорируют параметр changefreq в sitemap.xml, так как они сами планируют краулинговый бюджет сайта. Тем не менее, плагин дает возможность указать эти настройки в карте сайта.

В разделе «Приоритеты» укажите приоритетность страниц сайта. Допустимы значения от 0,1 до 1,0. По умолчанию страница имеет приоритет 0,5. Присвойте высокий приоритет страницам, которые считаете важными по сравнению с остальными страницами сайта. Например, если на главной появляются анонсы новостей или новых товаров, она может считаться самой приоритетной страницей.

Обратите внимание: время последнего обновления, желаемая частота индексации и приоритетность страниц – необязательная информация. Поисковые системы могут ее учитывать, а могут и не учитывать. Вы ничего не потеряете, если оставите в этих разделах дефолтные значения.

Сохраните изменения. После этого о плагине Google XML Sitemaps можно навсегда забыть, так как он работает в фоновом режиме, автоматически обновляется и сам актуализирует карту сайта. Вам останется только добавить sitemap.xml в Google Search Console и «Яндекс.Вебмастер».

Google XML Sitemaps – не единственный плагин для WordPress, с помощью которого можно создать карту сайта. Например, в комбайне All in One SEO есть модуль «Sitemaps»:

После активации модуля можно создать карту сайта и настроить ее параметры:

Если вы публикуете на сайте видео и хотите, чтобы они ранжировались в поиске, то в этом же плагине можно создать карту сайта для видео:

Кроме этого, для создания отдельной карты сайты для видео можно воспользоваться специально предназначенным для этого генератором, например, Sitemap Generator.

Вот генераторы sitemap.xml для других движков:

После создания карты сайта добавьте ее в Google Search Console и «Яндекс.Вебмастер».

Мы делаем сайты под ключ: пишем текст, готовим дизайн, оптимизируем. Примеры – в портфолио. Подробнее

Как добавить карту сайта в Google Search Console и «Яндекс.Вебмастер»

Чтобы добавить карту сайта в Search Console, выберите раздел «Файлы Sitemap». Добавьте URL карты и нажмите кнопку «Отправить». Обычно карта сайта доступна по адресу типа vash-site.ru/sitemap.xml.

Поисковику понадобится какое-то время, чтобы проиндексировать карту сайта. После индексации появится статус «Успешно» или сообщение об ошибках. Чтобы просмотреть отчет об индексировании карты сайта в новом интерфейсе Search Console, нажмите на отмеченную на иллюстрации пиктограмму.

В отчете можно увидеть данные об индексировании sitemap.xml. Например, если на сайте есть закрытые от индексирования страницы, уведомление об этом появится в отчете.

Чтобы добавить sitemap.xml в «Яндекс.Вебмастер», выберите раздел «Индексирование – Файлы Sitemap»:

Укажите URL карты сайта в соответствующем поле и нажмите кнопку «Добавить».

В «Яндекс.Вебмастере» уведомление о проблемах с картой сайта появляется в разделе «Диагностика сайта». Также корректность файла можно проверить с помощью специального инструмента.

«Яндекс.Вебмастер» или Search Console Google: какая панель все же лучше (и для каких задач)

Как создать HTML-карту сайта

Как отмечалось выше, HTML-карта – элемент навигации для живых пользователей. Если у сайта логичная структура и удобное меню, HTML-карта не нужна. Если сайт большой, а пользователи жалуются на запутанность структуры, попробуйте решить проблему с помощью карты сайта.

Когда искал пример HTML-карты сайта, почему-то сразу подумал про сайты государственных пенсионных фондов. И не ошибся. Видимо, пожилым пользователям сложно ориентироваться на сайте с помощью меню. Учитывайте это, когда будете решать целесообразность добавления карты сайта в формате HTML.

Создать карту сайта в формате HTML на WordPress можно с помощью плагина Simple Sitemap от разработчика David Gwyer или аналогичных решений. Достаточно установить и активировать надстройку, а затем вставить предложенный шорткод на страницу, где нужна карта сайта.

Вот решения для других CMS:

В OpenCart карта сайта в формате HTML создается автоматически.

Карта сайта: создать и забыть

Именно так выглядит идеальный алгоритм работы с картой сайта sitemap.xml. Чтобы его реализовать, лучше пользоваться плагинами и модулями для CMS. Они автоматически генерируют файл sitemap.xml и актуализируют его при появлении на сайте новых страниц.

Созданную карту сайта нужно добавить в Search Console и «Яндекс.Вебмастер». После этого о sitemap.xml действительно можно забыть. Если у поисковых систем возникнут проблемы с индексированием карты, они вас уведомят. Чтобы решить проблемы, скорее всего, будет достаточно повторно сгенерировать карту и отправить ее на индексацию.

Как добавить XML-карту сайта в свой блог Blogger

Узнайте, как сгенерировать XML-карту сайта для своих блогов blogger и blogspot. Карты сайта помогут поисковым роботам Google лучше проиндексировать ваш сайт.

Файл XML Sitemap похож на каталог всех веб-страниц, существующих на вашем веб-сайте или в блоге. Google, Bing и другие поисковые системы могут использовать эти файлы Sitemap для обнаружения страниц на вашем сайте, которые их поисковые роботы могли пропустить при обычном сканировании.

Проблема с файлами карты сайта Blogger

Полный файл карты сайта XML должен упоминать все страницы сайта, но это не так, если ваш блог размещен на платформе Blogger или blogspot.

Google принимает карты сайта в форматах XML, RSS или Atom. Они рекомендуют использовать как XML-карты сайта, так и RSS / Atom-каналы для оптимального сканирования.

В RSS-потоке Atom по умолчанию любого блога Blogger будут только самые последние сообщения блога — см. Пример. Это ограничение, поскольку некоторые из ваших старых страниц блога, которые отсутствуют в файле карты сайта XML по умолчанию, могут никогда не проиндексироваться в поисковых системах. Однако есть простое решение этой проблемы.

Сгенерируйте XML-карту сайта для своего блога Blogger

Этот раздел действителен как для обычных блогов Blogger (в которых есть blogspot.com ), а также автономные блоги Blogger, использующие собственный домен (например, postsecret.com).

Вот что вам нужно сделать, чтобы представить полную структуру сайта вашего блога поисковым системам с помощью карты сайта XML.

  1. Откройте Sitemap Generator и введите полный адрес своего блога Blogger.

  2. Нажмите кнопку «Создать карту сайта», и этот инструмент мгновенно создаст XML-файл с вашей картой сайта. Скопируйте весь текст в буфер обмена.

  3. Затем перейдите на панель управления Blogger.com, выберите «Настройки» -> «Настройки поиска», включите параметр «Пользовательский файл robots.txt» (доступен в разделе «Сканирование и индексирование»). Вставьте сюда карту сайта XML и сохраните изменения.

И готово. Поисковые системы автоматически обнаруживают ваши XML-файлы карты сайта через файл robots.txt, и вам не нужно проверять их вручную.

Внутренне генератор карты сайта XML подсчитывает все сообщения блога, доступные в вашем блоге Blogger.Затем он разбивает сообщения на пакеты по 500 сообщений в каждом и генерирует несколько XML-каналов для каждого пакета. Таким образом, поисковые системы смогут обнаружить каждое сообщение в вашем блоге, поскольку оно будет частью одной из этих XML-карт сайта.

PS: Если вы перешли с Blogger на WordPress, все еще имеет смысл отправлять XML-карты сайта вашего старого блога Blogspot, так как это поможет поисковым системам обнаружить ваши новые сообщения и страницы в блоге WordPress.

Как создать XML-карту сайта для повышения SEO за 20 минут (или меньше)

Когда дело доходит до SEO и маркетинга, мне нравятся быстрые и легкие победы.

Несмотря на то, что я привержен долгому пути ведения блога (более 10 лет и их количество), я бы предпочел нажать несколько кнопок и потянуть несколько рычагов, чтобы привлечь больше трафика.

Низкое усилие. Большие победы. Вот где мне нравится быть.

И, к счастью, существует некоторых методов SEO, которые обеспечивают высокую ценность при минимальных усилиях.

Я хочу поделиться с вами одним из таких приемов — создание карты сайта в формате XML.

Теперь, прежде чем вы убежите после прочтения термина «XML-карта сайта», позвольте мне сообщить вам хорошие новости.

Несмотря на то, что карта сайта в формате XML относится к «технической» стороне SEO, сделать ее несложно. И, на самом деле, это тоже не так уж и «технически».

Фактически, всего за несколько минут вы можете создать действительно хорошую карту сайта в формате XML. Вам не обязательно уметь программировать. Вам просто нужно знать, как нажимать.

Это бесплатно. Это просто. Это относительно просто, и это может улучшить ваше SEO.

Готовы попробовать?

Что такое XML Sitemap?

Что такое карта сайта XML?

Проще говоря, это список URL-адресов веб-сайта.

Вот почему он называется картой сайта . Он показывает, как структурирован веб-сайт и какие страницы он включает.

(«XML» означает «расширяемый язык разметки», способ отображения информации на веб-сайтах.)

Вот что такое XML-карта сайта , , но , почему вообще должен быть у вас? Какая цель?

Какова цель XML-файла Sitemap?

Поисковые системы используют сканеры для систематизации и индексации информации в сети.

Эти краулеры могут читать любую информацию. Но карта сайта XML упрощает для сканера, чтобы увидеть, что на вашем веб-сайте, и проиндексировать это.

Как только это произойдет, ваш сайт с большей вероятностью быстро повысит свой рейтинг.

По сути, карта сайта XML служит оглавлением для вашего веб-сайта, позволяя поисковому роботу получить самое необходимое и соответствующим образом проиндексировать ваш сайт.

Однако хорошо структурированная карта сайта может сделать даже больше.

Карты сайта

сообщают поисковым системам, когда страница была обновлена, частоту обновлений страницы, относительную важность страниц на веб-сайте, а также способы поиска и индексации контента, который может быть найден глубоко в структуре сайта.

Вот как информация выглядит в карте сайта:

  • Где страница находится на веб-сайте (ее URL): http://www.example.com/mypage
  • Время последнего изменения страницы: 2013-10-10
  • Как часто меняется страница: ежемесячно
  • Какой приоритет эта страница по отношению к другим страницам на сайте: 1

Эти функции важны, особенно с учетом количества неавторизованных распространений контента, которое происходит сегодня.

Если вы не используете карту сайта, ваш веб-сайт может рассматриваться как содержащий повторяющееся содержание, что не очень хорошо для SEO.

Что еще более важно, карта сайта — это быстрый способ быть проиндексированным Google.

С помощью карты сайта вы можете сказать Google: «Послушайте, это мой сайт, и вот страницы, которые я хочу, чтобы вы проиндексировали».

Обычно в течение нескольких минут Google просканирует ваш сайт и проиндексирует его.

Каковы преимущества XML-файла Sitemap?

Если вам интересно: «Хм.Мне действительно нужна карта сайта? Должен ли я пойти на все эти проблемы? » Я хочу вас уговорить, да, сделайте это. Это займет всего несколько минут, а преимущества огромны.

Рассмотрите следующие преимущества карты сайта XML:

  • Указывает Google сканировать и индексировать ваш сайт.
  • Он сообщает Google , что сканировать на вашем веб-сайте.
  • Карта сайта XML сообщает Google, какая информация находится на вашем сайте.
  • Карта сайта XML сообщает Google, когда ваш контент был обновлен (что может привести к более благоприятному или «свежему» рейтингу).
  • Он сообщает Google, как часто обновляется ваш контент и насколько это важно.
  • Карта сайта XML помогает вашему сайту мгновенно индексироваться для динамически генерируемых страниц.
  • Это поможет вам преодолеть ограничения веб-сайта со слабыми внутренними ссылками.
  • Это помогает вашему сайту преодолеть проблему отсутствия сильного профиля внешних ссылок.
  • Помогает крупным сайтам получить лучшую и более организованную индексацию.
  • Карта сайта XML помогает Google более эффективно сканировать ваш сайт.
  • Он показывает Google все страницы вашего веб-сайта, даже если они глубоко укоренились в архитектуре и в противном случае не могли бы сканироваться так быстро.

Если вы готовы приступить к созданию собственной XML-карты сайта, мы выполним трехэтапный процесс:

  1. Создайте карту сайта в формате XML.
  2. Добавьте карту сайта в формате XML на свой веб-сайт.
  3. Отправьте карту сайта в формате XML в Google.

(я также покажу вам, как отправить файл Sitemap в Bing и Яндекс)

В оставшейся части статьи мы рассмотрим каждый из этих пунктов, а также один заключительный шаг — использование Ubersuggest для поиска потенциальных ошибок карты сайта.

Создание XML-карты сайта с помощью Screaming Frog (для любого веб-сайта)

Вы можете использовать Screaming Frog для создания карты сайта в формате XML для любого веб-сайта. Неважно, какую CMS вы используете, какого размера веб-сайт или его возраст.

На самом деле, вам даже не нужно владеть веб-сайтом или иметь доступ к нему для создания карты сайта.

Это связано с расходами? Screaming Frog, инструмент, который мы будем использовать, обеспечивает бесплатное сканирование до 500 страниц.Чтобы сканировать веб-сайты размером более 500 страниц, вам необходимо приобрести лицензию Screaming Frog.

О кричащей лягушке

Если у вас еще нет Screaming Frog, вам необходимо сначала установить его. Вы можете сделать это здесь.

Screaming Frog — это мощная программа для настольных ПК, которая помогает в целом ряде операций по поисковой оптимизации.

Базовая версия бесплатна. Полная версия (с покупкой лицензии) стоит 149 фунтов стерлингов в год (около 180 долларов США или 170 евро).

В этом разделе я расскажу, как создать карту сайта в формате XML для любого веб-сайта с помощью бесплатной версии Screaming Frog.

Сначала откройте Screaming Frog.

Затем введите свой URL-адрес в поле вверху.

Щелкните «Пуск».

В зависимости от размера вашего сайта сканирование может занять от нескольких минут до нескольких часов.

Для такого сайта, как NeilPatel.com (более 6600 страниц), сканирование занимает некоторое время, но не слишком долго. Я работал над несколькими крупными сайтами электронной коммерции с миллионами URL-адресов. На их сканирование уходит несколько часов.

Когда сайт завершит сканирование, в строке состояния отобразится «100».

Теперь нажмите «Карты сайта» в строке меню.

Нажмите «Создать XML-карту сайта».

Затем вам нужно будет выбрать, какие разделы вашего веб-сайта вы хотите включить в XML-карту сайта.

На первый взгляд это может показаться запутанным, особенно если вы не знаете, что означает «Noindex» или «canonicalized».

Вот краткое описание каждого из них:

  • Включить страницы Noindex: Страницы Noindex содержат HTML-код в заголовке, сообщающий поисковым системам , а не , включать страницу в поисковый индекс.Если ваш разработчик установил для определенных страниц значение «Noindex», вероятно, на это есть веская причина. Если сомневаетесь, отметьте это поле , а не .
  • Включить Canonicalised : может быть несколько URL-адресов, указывающих на одну и ту же страницу содержимого. Если вы «включаете канонические», вы указываете инструменту сканирования, чтобы он включил варианты URL-адресов, указывающих на одну и ту же страницу. Если есть сомнения, не устанавливайте этот флажок.
  • Включить URL-адреса с разбивкой на страницы : URL-адрес с разбивкой на страницы включает атрибуты rel = (rel = «prev» и «next») для навигации по серии контента на веб-сайте.Если вы не будете осторожны с этим, разбиение на страницы может быть немного опасным для SEO. Я рекомендую вам установить , а не , установить этот флажок.
  • Включить PDF-файлы : вы можете выбрать, хотите ли вы, чтобы PDF-файлы включались в вашу карту сайта XML. Google индексирует все виды контента, включая PDF-файлы. Я рекомендую вам включить PDF-файлы в вашу карту сайта XML, если PDF-файлы на вашем веб-сайте важны и актуальны для пользователей, которые могут искать ваш контент.

Запомните эту основную идею.Карта сайта предназначена для SEO. Если вы хотите, чтобы кто-то нашел страницу на вашем веб-сайте, вы хотите включить ее в карту сайта.

Для своих целей я буду включать PDF-файлы.

Вкладки «Последнее изменение», «Приоритет» и «Частота изменения» имеют дело с датой и временем изменения страниц веб-сайта и настройками <приоритет>.

Если вы не знакомы с этими настройками, оставьте их по умолчанию.

Я считаю, что включать изображения в карту сайта — это хорошая идея, поэтому я собираюсь добавить их в свою карту сайта.

Щелкните вкладку «Изображения».

Затем нажмите «Включить изображения». Третье поле («Включить только релевантные изображения с до 10 входящих ссылок») будет автоматически отмечено.

Затем нажмите «Далее».

Вам будет предложено сохранить карту сайта в формате XML на вашем компьютере. Найдите подходящее место для его сохранения и нажмите «Сохранить».

Поздравляем! Вы создали карту сайта в формате XML!

Теперь вам нужно загрузить этот файл на свой веб-сайт через FTP. Возможно, вы уже знаете, как это сделать.

Если вы не знаете, как загрузить карту сайта XML на свой веб-сайт, обратитесь к разработчику, чтобы определить, какой процесс вы должны выполнить для вашего конкретного сервера и / или CMS.

Но создание карты сайта — это только первый шаг. Карта сайта не означает ничего , если вы не отправите ее в поисковые системы.

Перейдите к разделу «Отправьте карту сайта XML в Google», чтобы узнать, как это сделать.

Создание XML-карты сайта с помощью Yoast (только WordPress)

Yoast — один из самых популярных плагинов SEO для WordPress.Yoast упрощает создание и отправку карты сайта в формате XML.

Я объясню, как это сделать, шаг за шагом, но сначала вот что вам нужно:

  • Вы должны использовать сайт WordPress.org.
  • У вас должен быть установлен плагин Yoast. (Это бесплатно.)
  • Ваш веб-сайт должен быть подключен к Google Search Console.

На большинстве веб-сайтов эти три функции уже есть. Если готовы, приступим.

Войдите в админку WordPress

Примечание. На скриншотах ниже мой администратор WordPress может немного отличаться от вашего.Это не должно мешать вам выполнять каждый шаг.

Что мы собираемся сделать в первую очередь, так это убедиться, что плагин Yoast готов создать для вас карту сайта. Для этого нам нужно включить расширенные настройки Yoast.

Нажмите на плагин Yoast

На нем есть значок «Y» и написано «SEO». Он должен быть расположен на левой боковой панели.

Щелкните опцию «Dashboard».

На панели управления нажмите «Функции».

На вкладке «Функции» найдите «XML-карты сайта» и убедитесь, что для него установлено значение «Вкл.».”

Теперь прокрутите вниз и нажмите «Сохранить изменения». \

Если вы хотите настроить карту сайта, узнайте, как это сделать. Например, вы можете исключить закрытые страницы.

В целом, однако, карта сайта, которую генерирует Yoast, имеет тенденцию быть довольно надежной.

А теперь пора отправить это в Google.

Как отправить XML-карту сайта в Google

Пришло время сделать что-то ценное с вашей картой сайта — отправить ее в Google.

Для этого вам необходимо, чтобы к вашему сайту была подключена консоль поиска Google. Ознакомьтесь с этим руководством Google, чтобы узнать, как это сделать.

Сначала перейдите в консоль поиска Google и выберите свой веб-сайт.

На панели управления нажмите «Карты сайта».

Нажмите «Добавить новый файл Sitemap».

Введите URL-адрес, по которому вы сохранили карту сайта. Он должен заканчиваться на «.xml», поскольку это файл XML.

Нажмите «Отправить».

Затем используйте отчет о файлах Sitemap, чтобы убедиться в отсутствии ошибок.(Я также расскажу о другом методе ниже.)

Как только это будет завершено, обо всем остальном позаботится Google. Ваша карта сайта позволяет Google быстро и без проблем проиндексировать ваш сайт, помогая повысить ваш рейтинг.

Как отправить XML-карту сайта в Bing и Яндекс

Google — крупнейшая поисковая система, но не единственная. Чтобы получить максимальную отдачу от вашей XML-карты сайта, я предлагаю отправить ее в Bing и Яндекс. Вот как:

Отправить карту сайта в Bing

Bing — это ответ Microsoft на Google.У него гораздо меньшая доля рынка (чуть более 6%). Однако более 900 миллионов уникальных пользователей посещают Bing в месяц. Отправить карту сайта в Bing очень просто, поэтому стоит потратить несколько минут, чтобы охватить их аудиторию.

Чтобы отправить карту сайта в Bing, войдите в свою панель управления в инструментах для веб-мастеров. Найдите виджет Sitemap и нажмите «Отправить Sitemap».

Введите URL-адрес вашего файла и нажмите «Отправить». Вот и все!

Отправить карту сайта в Яндекс

Яндекс — это российская версия Google.В России Яндекс занимает более 55% поискового рынка. Он также предоставляет услуги электронной почты, потоковой передачи музыки и онлайн-платежей. Как и в случае с Bing, отправка карты сайта занимает всего несколько минут, поэтому стоит приложить усилия, чтобы охватить более широкую аудиторию.

Вот как отправить карту сайта в Яндекс:

Перейдите на страницу файлов Sitemap и выберите свой сайт из списка.

Добавьте URL-адрес вашей карты сайта.

Щелкните добавить.

Загрузка карты сайта займет около двух недель.Вы захотите проверить еще раз и убедиться, что он загружен правильно; если там написано «ОК», то все готово. Если вы видите «Перенаправить», попробуйте загрузить файл еще раз.

Если вы видите сообщение «ошибка» или «не проиндексировано», вам необходимо устранить неполадки. Воспользуйтесь этим руководством от Яндекса, чтобы разобраться, что происходит.

Используйте Ubersuggest для проверки ошибок XML-файла Sitemap

Если вы выполните описанные выше действия, у не должно быть ошибок файла Sitemap для . Но то, что вы не должны этого делать, не означает, что вы этого не сделаете.

Вот как вы можете использовать Ubersuggest для проверки ошибок карты сайта:

Шаг № 1: Введите имя своего домена и нажмите «Поиск».

Шаг № 2: Нажмите «Аудит сайта» на левой боковой панели.

Шаг № 3: Просмотрите результаты.

Чтобы найти проблемы с картой сайта, просмотрите данные, связанные с проверкой работоспособности, критическими ошибками, предупреждениями и рекомендациями.

Например, когда вы нажимаете «Критические ошибки», вы видите на моем веб-сайте следующее:

Нет проблем с моей картой сайта, но если они были, то здесь вы можете найти дополнительную информацию.Помимо самих проблем, есть кнопка «Узнать больше», которая приведет вас к:

Затем вы можете следовать подсказкам, чтобы узнать, как исправить ошибку.

Используйте Ubersuggest, чтобы регулярно проверять состояние вашей карты сайта. Выполнение этого один или два раза в месяц займет всего несколько минут в вашем расписании, но это может иметь большое значение для улучшения SEO вашего сайта.

Заключение

Многие владельцы малого бизнеса и веб-предприниматели пугаются, когда слышат термин «XML-карта сайта.”

Звучит жаргонно и похоже на код. Если вы не фанат SEO или компьютерный фанат, как вы поймете, как создать и отправить карту сайта в формате XML?

Как оказалось, это не так уж и сложно.

Создание карты сайта с помощью таких программ, как Screaming Frog или Yoast, занимает десять минут или меньше.

Если вы ничего не знаете о файлах Sitemap и вам нужно пройти весь процесс в первый раз, нет проблем. Прохождение всего процесса от начала до конца может занять не более двадцати минут.

Однако преимущества SEO будут огромными.

Если вы никогда не создавали карту сайта в формате XML для своего веб-сайта, мой совет прост: сделайте ее сегодня.

Затем проведите технический SEO-аудит, чтобы увидеть, какие еще проблемы могут скрываться на вашем сайте.

Вы можете это сделать. Я тебя прикрою.

Каков ваш опыт создания XML-карты сайта? Как это помогло SEO вашего сайта?

Узнайте, как мое агентство может привлечь огромное количество трафика на ваш веб-сайт

  • SEO — разблокируйте огромное количество SEO-трафика.Смотрите реальные результаты.
  • Контент-маркетинг — наша команда создает эпический контент, которым будут делиться, получать ссылки и привлекать трафик.
  • Paid Media — эффективные платные стратегии с четким ROI.

Заказать звонок

Создайте и отправьте карту сайта

На этой странице описывается, как создать карту сайта и сделать ее доступной для Google. Узнайте больше о файлах Sitemap здесь.

  1. Решите, какой формат карты сайта вы хотите использовать.
  2. Создайте карту сайта автоматически или вручную.
  3. Сделайте свою карту сайта доступной для Google, добавив ее в свой robots.txt или напрямую отправив его в Search Console.

Форматы файлов Sitemap

Google поддерживает несколько форматов карты сайта:

Google ожидает стандартный протокол карты сайта во всех форматах. Google делает в настоящее время не используют атрибут в файлах Sitemap.

Все форматы ограничивают размер одной карты сайта 50 МБ (без сжатия) и 50 000 URL-адресов. Если у тебя есть файл большего размера или несколько URL-адресов, вам придется разбить свой список на несколько карт сайта. Вы можете при желании создать индекс карты сайта file (файл, указывающий на список карт сайта) и отправьте этот единственный индексный файл в Google. Вы можете отправить в Google несколько файлов Sitemap и / или файлов индекса Sitemap.

XML

Вот очень простая карта сайта XML, которая включает расположение одного URL:


  
     http://www.example.com/foo.html 
     4 июня 2018 г. 
  
 

Вы можете найти более сложные примеры и полную документацию по адресу sitemaps.org.

Вы можете увидеть примеры карты сайта, в которых указаны страницы на альтернативном языке и карты сайта для файлов новостей, изображений или видео.

Если у вас есть блог с RSS или Atom-фидом, вы можете отправить URL-адрес фида как карту сайта. Большинство программ для ведения блогов могут создавать ленту за вас, но следует понимать, что только эта лента предоставляет информацию о последних URL-адресах.

  • Google принимает каналы RSS 2.0 и Atom 1.0.
  • Вы можете использовать mRSS (медиа RSS) канал для предоставить Google подробные сведения о видеоконтенте на вашем сайте.

Текст

Если ваша карта сайта включает только URL-адреса веб-страниц, вы можете предоставить Google простой текст файл, содержащий по одному URL в каждой строке. Например:

 http://www.example.com/file1.html
http://www.example.com/file2.html 
Рекомендации для текстовых файлов Sitemap
  • Закодируйте файл в кодировке UTF-8.
  • Не помещайте в файл карты сайта ничего, кроме URL-адресов.
  • Вы можете назвать текстовый файл как хотите, при условии, что он имеет расширение .txt (для экземпляр sitemap.txt).

Расширения Sitemap для дополнительных типов мультимедиа

Google поддерживает расширенный синтаксис карты сайта для следующих типов мультимедиа. Используйте эти расширения для описывать видеофайлы, изображения и другой контент на вашем сайте, который сложно анализировать, чтобы улучшить индексация.

Общие рекомендации по работе с картами сайта

  • Используйте согласованные, полностью определенные URL-адреса. Google просканирует ваши URL-адреса в точности так, как указано в списке. Например, если ваш сайт находится по адресу https://www.example.com/ , не указывайте URL как https://example.com/ (отсутствует www ) или ./mypage.html (относительный URL).
  • Карта сайта может быть размещена в любом месте вашего сайта, но карта сайта влияет только на потомки родительского каталога . Поэтому карта сайта, размещенная в корне сайта может повлиять на все файлы на сайте, поэтому мы рекомендуем размещать ваши карты сайта.
  • Не включайте идентификаторы сеансов из URL-адресов в карту сайта. Это уменьшает дублирование сканирования эти URL-адреса.
  • Сообщите Google о версиях URL на других языках , используя аннотации hreflang.
  • Файлы Sitemap должны быть в кодировке UTF-8, и Соответствующие экранированные URL-адреса .
  • Разбейте большие карты сайта на более мелкие карты сайта: карта сайта может содержать до 50 000 URL-адреса и не должны превышать 50 МБ без сжатия.Использовать файл индекса карты сайта, чтобы перечислить все отдельные карты сайта и отправьте этот единственный файл в Google, а не отправляйте отдельные карты сайта.
  • Только список канонические URL-адреса в ваших файлах Sitemap. Если у вас две версии страницы, укажите в карте сайта только ту, которую вы предпочитают появляться в результатах поиска. Если у вас две версии вашего сайта (например, www и без www), решите, какой сайт вам больше нравится, поместите туда карту сайта и добавьте rel = canonical или перенаправляет на другой сайт.
  • Если у вас разные URL-адреса для мобильной и настольной версии страницы, мы рекомендую указать только одну версию в карте сайта. Однако вы хотите указать на оба URL-адреса, аннотировать ваши URL-адреса для обозначения настольной и мобильной версии.
  • Используйте расширения карты сайта для указания на дополнительных носителей типы , такие как видео, изображения и новости.
  • Если у вас есть альтернативные страницы для разных языков или регионов , вы можете использовать hreflang либо в карте сайта, либо в тегах html чтобы указать альтернативные URL-адреса.
  • Не буквенно-цифровые и нелатинские символы. Мы требуем, чтобы ваш файл Sitemap был в кодировке UTF-8 (обычно это можно сделать, когда вы сохраняете файл). Как и во всех файлах XML, любые значения данных (включая URL-адреса) должны использовать сущность escape-коды для символов, перечисленных в таблице ниже. Карта сайта может содержать только ASCII символы; он не может содержать расширенные символы ASCII или определенные управляющие коды или специальные такие символы, как * и {} .Если URL вашей карты сайта содержит эти символов, вы получите сообщение об ошибке при попытке добавить его.
    Персонаж Символ Код побега
    Амперсанд и & amp;
    Одиночное предложение ' '
    Двойные кавычки " & quot;
    Больше > & gt;
    Менее < & lt;

    Кроме того, все URL-адреса (включая URL-адрес вашей карты сайта) должны быть закодированы для удобства чтения веб-сервер, на котором они расположены, с экранированием URL-адресов.Однако, если вы используете какой-либо вид скрипта, инструмента или файла журнала для генерации ваших URL-адресов (что угодно, кроме ввода их вручную), обычно это уже сделано за вас. Если вы отправляете карту сайта и получаете сообщение об ошибке что Google не может найти некоторые из ваших URL-адресов, убедитесь, что ваши URL-адреса следуют стандарт RFC-3986 для URI, RFC-3987 для IRI и Стандарт XML.

    Вот пример URL-адреса, в котором используются символы, отличные от ASCII ( ü ), а также символ, требующий экранирования объекта ( и ):

     http: // www.example.com/ümlat.html&q=name 

    Вот тот же URL в кодировке ISO-8859-1 (для хостинга на сервере, который использует эту кодировку) и URL-адрес экранирован:

     http://www.example.com/%FCmlat.html&q=name 

    Вот тот же URL-адрес в кодировке UTF-8 (для размещения на сервере, который использует эту кодировку) и URL-адрес экранирован:

     http://www.example.com/%C3%BCmlat.html&q=name 

    Вот тот же URL с экранированной сущностью:

     http: // www.example.com/%C3%BCmlat.html&q=name 
  • Помните, что карты сайта - это , рекомендация для Google о том, какие страницы, по вашему мнению, являются важный; Google не обязуется сканировать каждый URL-адрес в карте сайта.
  • Google игнорирует значения и .
  • Google использует значение , если оно постоянно и проверяемо (для пример по сравнению с последней модификацией страницы) точно.
  • Положение URL-адреса в карте сайта не имеет значения ; Google не сканирует URL-адреса в порядке, указанном в которые они появляются в вашей карте сайта.

Создать карту сайта

Создавая карту сайта, вы сообщаете поисковым системам, какие URL-адреса вы предпочитаете отображать в результаты поиска. Эти канонические URL-адреса. если ты иметь один и тот же контент, доступный по разным URL-адресам, выберите нужный URL-адрес и включите его в карту сайта вместо всех URL-адресов, ведущих к одному и тому же контенту.

После того, как вы решили, какие URL-адреса включить в карту сайта, выберите один из следующих способов: создайте карту сайта в зависимости от архитектуры и размера вашего сайта:

Позвольте вашей CMS сгенерировать для вас карту сайта

Если вы используете CMS, такую ​​как WordPress, Wix или Blogger, вполне вероятно, что ваша CMS имеет уже сделал карту сайта доступной для поисковых систем. Попробуйте поискать информацию о том, как ваша CMS генерирует карты сайта, или как создать карту сайта, если ваша CMS не генерирует карту сайта автоматически.Например, в случае Wix выполните поиск по запросу «карта сайта wix».

Для всех остальных настроек сайта вам потребуется создать карту сайта самостоятельно.

Создать карту сайта вручную

Для карт сайта с менее чем несколькими десятками URL-адресов вы можете создать карту сайта вручную. Для этого откройте текстовый редактор, например Блокнот Windows или Nano (Linux, MacOS) и следуйте инструкциям синтаксис описан в разделе "Форматы файлов Sitemap".

Вы можете вручную создавать карты сайта большего размера, но это утомительный процесс.

Автоматически создать карту сайта

Для карт сайта с более чем несколькими десятками URL-адресов вам потребуется создать карту сайта. Есть различные инструменты, которые могут генерировать карту сайта. Однако лучший способ - сделать так, чтобы программное обеспечение вашего веб-сайта сгенерировало его за вас. Например, вы может извлечь URL-адреса вашего сайта из базы данных вашего сайта, а затем экспортировать URL-адреса в любой экран или фактический файл на вашем веб-сервере. Поговорите со своими разработчиками или менеджером сервера о это решение.Если вам нужно вдохновение для кода, посмотрите нашу старую коллекцию сторонние генераторы карты сайта.

Имейте в виду, что файлы Sitemap не могут быть больше 50 МБ. Узнать больше о управление большими картами сайта.

Отправьте карту сайта в Google

Google не проверяет карту сайта каждый раз при сканировании сайта; карта сайта проверяется только в первый раз, когда мы это замечаем, и только после этого, когда вы пингуете нас, чтобы сообщить нам, что это измененный.Уведомлять Google о карте сайта только тогда, когда она новая или обновленная; не отправляйте или пингуйте неизмененные карты сайта несколько раз.

Если у вас есть обновленные страницы в карте сайта, отметьте их с полем . В других файлах XML есть аналогичное поле, например для Atom XML. Вы также можете узнать, как вычислить эту дату.

Есть несколько способов сделать вашу карту сайта доступной для Google:

  • Отправьте карту сайта , используя Отчет о файлах Sitemap.
  • Используйте инструмент ping. Отправьте запрос GET в браузере или в командной строке по этому адресу, указав полный URL карты сайта. Убедитесь, что файл карты сайта доступны:
     https://www.google.com/ping?sitemap=  FULL_URL_OF_SITEMAP  

    Пример:

     https://www.google.com/ping?sitemap=https://example.com/sitemap.xml 
  • Вставьте следующую строку в любое место файла robots.txt , указав путь к вашей карте сайта. Мы найдем его, когда в следующий раз просканируем ваш файл robots.txt:
     Карта сайта: https://example.com/my_sitemap.xml 
  • Использовать WebSub если вы используете Atom / RSS для своей карты сайта и хотите транслировать свои изменения в другой поиск движки в дополнение к Google.

Устранение неполадок карты сайта

Увидеть руководство по устранению неполадок с картами сайта.

Что такое карта сайта XML и зачем она вам нужна? • Yoast

Мейке Хендрикс

Мейке Хендрикс (Meike Hendriks) - специалист по цифровому маркетингу в команде Yoast SEO.Она работает над SEO, SEA и CRO, чтобы постоянно улучшать Yoast.com.

Хорошая карта сайта в формате XML действует как дорожная карта вашего веб-сайта, которая ведет Google ко всем вашим важным страницам. Карты сайта в формате XML могут быть полезны для SEO, поскольку они позволяют Google быстро находить важные страницы вашего веб-сайта, даже если ваша внутренняя ссылка не идеальна. В этом посте объясняется, что это такое и как они помогают вам лучше ранжироваться.

Что такое карты сайта XML?

XML-карта сайта - это файл, в котором перечислены важные страницы веб-сайта, чтобы Google мог найти и просканировать их все.Это также помогает поисковым системам понять структуру вашего сайта. Вы хотите, чтобы Google сканировал все важные страницы вашего веб-сайта. Но иногда страницы заканчиваются без каких-либо внутренних ссылок, указывающих на них, что затрудняет их поиск. Карта сайта может помочь ускорить обнаружение контента.

XML-карта сайта Yoast.com

Выше представлена ​​карта сайта Yoast.com, созданная плагином Yoast SEO. Далее на этой странице мы объясним, как наш плагин помогает вам создавать лучшие XML-карты сайта. Если вы не используете наш плагин, ваша карта сайта может выглядеть немного иначе, но работать будет точно так же.

Как видите, XML-карта сайта Yoast.com показывает несколько «индексных» карт сайта: post-sitemap.xml , page-sitemap.xml , video-sitemap.xml и т. Д. Эта категоризация делает структуру сайта как можно яснее. Таким образом, если вы нажмете на одну из индексных карт сайта, вы увидите все URL-адреса в этой конкретной карте сайта. Например, если вы нажмете post-sitemap.xml , вы увидите все URL-адреса сообщений Yoast.com.

XML-карта сайта Yoast.com для публикации

Вы увидите дату в конце каждой строки.Это сообщает Google, когда каждый пост последний раз обновлялся, и помогает с SEO, потому что вы хотите, чтобы Google сканировал ваш обновленный контент как можно скорее. Когда дата изменяется в XML-карте сайта, Google знает, что нужно сканировать и индексировать новый контент.

Если у вас большой веб-сайт, иногда необходимо разделить карту сайта индекса. Одна XML-карта сайта ограничена 50 000 URL-адресов, поэтому, если ваш веб-сайт содержит более 50 000 сообщений, например, вам понадобятся два отдельных файла для URL-адресов сообщений, что позволит эффективно добавить вторую карту сайта для индекса.Плагин Yoast SEO устанавливает еще более низкий предел - 1.000 URL-адресов - чтобы ваша карта сайта загружалась как можно быстрее.

Каким веб-сайтам нужна карта сайта XML?

В документации Google говорится, что карты сайта полезны для « действительно больших веб-сайтов», для «веб-сайтов с большими архивами», для «новых веб-сайтов с несколькими внешними ссылками на них», и для «веб-сайтов, которые используют расширенные медиа-контент ».

Хотя мы согласны с тем, что такие веб-сайты определенно выиграют от их наличия, в Yoast мы считаем, что карты сайта XML полезны для каждого веб-сайта.Каждому веб-сайту необходимо, чтобы Google мог легко находить самые важные страницы и знать, когда они в последний раз обновлялись. Вот почему эта функция включена в плагин Yoast SEO.

Какие страницы должны быть в вашей XML-карте сайта?

Как вы решаете, какие страницы включать в XML-карту сайта? Всегда начинайте с размышлений о релевантности URL-адреса: когда посетитель попадает на конкретный URL-адрес, является ли это хорошим результатом? Вы хотите, чтобы посетители попадали на этот URL? Если нет, то, наверное, не должно быть в этом.Однако, если вы действительно не хотите, чтобы этот URL отображался в результатах поиска, вам нужно добавить тег noindex. Отсутствие его в карте сайта не означает, что Google не проиндексирует этот URL. Если Google может найти его по ссылкам, Google может проиндексировать URL.

Пример 1. Новый блог

Скажем, например, вы начинаете новый блог. Вам нужно, чтобы Google быстро находил последние сообщения, чтобы ваша целевая аудитория могла найти ваш блог в результатах поиска, поэтому рекомендуется с самого начала создать карту сайта в формате XML.Вы можете создать для них несколько первых постов и категорий, а также несколько тегов для начала. Но контента пока недостаточно для заполнения страниц обзора тегов, что делает их «тонким контентом», который не представляет ценности для посетителей - пока. В этом случае вы должны пока не включать URL-адреса тегов в карту сайта. Установите для страниц с тегами значение «noindex, follow», потому что вы не хотите, чтобы люди находили их в результатах поиска.

Пример 2: Мультимедиа и изображения

XML-карта сайта media или image также не нужна для большинства веб-сайтов.Это связано с тем, что ваши изображения, вероятно, используются на ваших страницах и в сообщениях, поэтому они уже будут включены в вашу карту сайта "сообщение" или "страница". Поэтому иметь отдельную карту сайта «медиа» или «изображение» было бы бессмысленно, и мы рекомендуем не использовать ее. Единственное исключение - изображения - это ваш основной бизнес. Фотографы, например, вероятно, захотят показать Google отдельный файл Sitemap для мультимедиа или изображения.

Как заставить Google найти вашу карту сайта

Если вы хотите, чтобы Google быстрее находил вашу XML-карту сайта, вам нужно добавить ее в свою учетную запись Google Search Console.В разделе «Файлы Sitemap» вы сразу увидите, добавлен ли уже ваш XML-файл Sitemap. Если нет, вы можете добавить карту сайта вверху страницы.

Добавление карты сайта помогает проверить, все ли страницы в карте проиндексированы Google. Если есть большая разница в «отправленных» и «проиндексированных» числах на определенной карте сайта, мы рекомендуем изучить этот вопрос подробнее. Возможно, возникла ошибка, не позволяющая проиндексировать некоторые страницы. Другой вариант - вам может потребоваться больше ссылок, указывающих на контент, который еще не проиндексирован.

Google правильно обработал все URL-адреса в нашей пост-карте сайта

Как добавить XML-карту сайта на свой сайт с помощью Yoast SEO

Из-за их ценности для SEO мы добавили возможность создавать ваши собственные XML-карты сайта в нашем плагине Yoast SEO. Они доступны как в бесплатной, так и в премиальной версии плагина. Мы создаем их автоматически для вас и размещаем в нужном месте. Вам не нужно беспокоиться о том, где разместить XML-карту сайта.

В то время как мы работали вместе с Google над созданием исходных XML-карт сайта для WordPress, мы предлагаем улучшенную версию карт сайта в Yoast SEO.WordPress является базовым и далеко не таким отлаженным и полнофункциональным, как в Yoast SEO. Если вы установите Yoast SEO, мы автоматически отключим для вас карту сайта WordPress.

Yoast SEO автоматически создает карту сайта в формате XML для вашего сайта. Нажмите «SEO» на боковой панели установки WordPress, а затем выберите вкладку «Features»:

Вы можете найти карты сайта в формате XML на вкладке «Функции» в Yoast SEO. Щелкните ссылку, чтобы просмотреть XML-карту вашего сайта.

На этом экране вы можете включить или отключить различные карты сайта XML для своего веб-сайта.Кроме того, вы можете нажать на вопросительный знак, чтобы развернуть информацию и увидеть больше возможностей, например, проверить карту сайта в браузере.

Вы можете исключить типы контента из карты сайта XML на вкладке «Внешний вид в поиске». Если вы выберете «нет» в качестве ответа на «показывать X в результатах поиска?», Этот тип контента не будет включен.

Определите, что вы хотите видеть в XML-карте сайта.

Подробнее об исключении типов контента читайте здесь.

Проверьте свою собственную карту сайта XML!

Теперь вы знаете, насколько важно иметь карту сайта в формате XML: она может помочь вашему сайту в поисковой оптимизации.Google может легко получить доступ к вашим наиболее важным страницам и сообщениям, если вы добавите к ним правильные URL-адреса. Google также легко найдет обновленный контент, поэтому они знают, когда URL-адрес нужно сканировать снова. Наконец, добавление вашей XML-карты сайта в Google Search Console помогает Google быстро находить вашу карту сайта и позволяет вам проверять наличие ошибок карты сайта.

Так что не забудьте проверить свою собственную XML-карту сайта и узнать, правильно ли вы все делаете!

Оцените свою техническую пригодность к SEO

Наличие хорошей XML-карты сайта - часть вашего технического SEO.Хотите знать, насколько соответствует техническая SEO вашего сайта? Мы создали технический тест на пригодность для SEO, который поможет вам понять, над чем вам нужно работать!

Что это такое и как его использовать

Если вы когда-нибудь садились и читали статью о SEO, вы, вероятно, встречали термины карта сайта и / или XML карта сайта . Но в то время как карты сайта являются довольно распространенной рекомендацией SEO, нет большого количества подробных исследований того, как карты сайта XML работают с WordPress.

Чтобы исправить это, мы собираемся углубиться в карты сайта WordPress. Вот все, что вы узнаете из этого поста:

Что такое XML-карта сайта?

Карта сайта XML - это, по сути, просто список URL-адресов, которые вы хотите сделать общедоступными. Как и robots.txt, он помогает поисковым системам, таким как Google и другие, лучше сканировать ваш веб-сайт, предоставляя им «карту» всего вашего контента. Вот и все!

Помимо необработанного списка URL-адресов, вы также можете включить другие полезные «метаданные» в вашу карту сайта, чтобы еще больше помочь поисковым системам в их попытках проиндексировать ваш сайт.Эти параметры описаны в протоколе файлов Sitemap и позволяют указать такие параметры, как:

  • Время последнего изменения страницы
  • Какой приоритет вы хотите, чтобы поисковые системы давали странице (, хотя поисковые системы не обязательно будут следовать этому )
  • Как часто страница будет меняться

Помимо этих основных метаданных, можно также предоставить поисковым системам информацию о ваших видео и изображениях.

Как выглядит XML-карта сайта?

Хотите знать, как на самом деле выглядит XML-карта сайта? Вот как выглядит наша карта сайта для записей WordPress на Kinsta:

Пример XML-карты сайта

Как видите… на самом деле это просто список URL-адресов с некоторыми дополнительными метаданными.Это не особенно полезно для людей!

Есть ли ограничение на количество URL-адресов, которые можно включить в XML-файл Sitemap?

Да, есть лимит . Но большинство веб-сайтов WordPress никогда не соблюдают предел.

Технически файлы sitemap.xml имеют ограничение в 50 000 URL. Но даже если ваш сайт включает более 50 000 URL-адресов, вы можете включить «карту сайта», чтобы увеличить это число. То есть вы можете включить одну главную карту сайта, которая ссылается на более конкретные карты сайта (каждая со своим отдельным ограничением в 50 000 URL).

Вот как мы делаем вещи в Kinsta (, а также как Yoast SEO делает что-то по умолчанию - подробнее об этом позже, ). Снимок экрана выше был специально для наших сообщений WordPress. Но если вы перейдете к нашему основному файлу карты сайта, вы увидите, что на самом деле он просто ссылается на другие файлы карты сайта:

Карта сайта

Каким образом карта сайта в формате XML может помочь вашему сайту на WordPress

Основным преимуществом XML-карты сайта является улучшенная возможность сканирования. По словам Google, «сканеры поисковых систем, такие как робот Google, читают этот файл, чтобы более разумно сканировать ваш сайт."Вот некоторые конкретные способы, с помощью которых файлы Sitemap в формате XML улучшают сканирование вашего сайта:

  • Более быстрое сканирование - Файлы Sitemap могут помочь роботам поисковых систем сканировать ваш контент быстрее, чем без карты сайта. Это также может привести к более быстрой индексации вашего контента.
  • Приоритетное сканирование - файлы Sitemap позволяют вам запрашивать у Google приоритет сканирования определенных страниц вашего сайта путем добавления метаданных.
  • Мультимедийный контент - если вы используете много мультимедийных материалов, таких как видео и изображения, «Google может учитывать дополнительную информацию из карт сайта для поиска, где это необходимо.”(Источник)

Помимо возможности сканирования, есть еще несколько скрытых способов, с помощью которых карты сайта предоставляют вам полезную информацию. Предполагая, что вы отправляете карту сайта в Google Search Console (вы узнаете, как это сделать позже!), Вы можете использовать карту сайта, чтобы быстро определить, насколько эффективно вы индексируете свои страницы в Google:

Статистика индекса Sitemap

Может ли добавление XML-карты сайта повредить ваш сайт?

Нет! Не волнуйтесь. В худшем случае вы не увидите никаких положительных результатов. Создание карты сайта в формате XML никогда не повредит вашему сайту .

Не верите? Вот что говорит по этой теме сам Google: «в большинстве случаев вашему сайту будет выгодна карта сайта , и вы никогда не будете наказаны за ее наличие.

Карта сайта не означает, что вы можете игнорировать структуру внутренних ссылок, хотя

Хотя карта сайта полезна, вот чего ее нет: Это не замена для создания прочной внутренней структуры ссылок, , которая, помимо прочего, увеличивает ваши шансы на получение дополнительных ссылок Google.То есть не предполагайте, что поисковые системы проиндексируют ваш контент просто потому, что вы включили его в карту сайта . У них может быть , но может и нет.

Google по-прежнему хочет видеть, что в вашем контенте есть внутренние или внешние ссылки, указывающие на него. Как утверждает Google, «использование карты сайта не гарантирует, что все элементы в вашей карте сайта будут просканированы и проиндексированы».

Итак, хотя вы обязательно должны использовать карту сайта, вам не следует полагаться исключительно на карту сайта для индексации вашего контента.

Как создать XML-карту сайта для вашего сайта WordPress с помощью Yoast SEO

Теперь, когда вы знаете, что такое XML-карта сайта и какую пользу она может принести вашему сайту, как вы на самом деле можете создать карту сайта WordPress для всего вашего контента? Самый простой способ - использовать Yoast SEO, плагин, который мы рекомендуем.

Чтобы создать карту сайта в формате XML с помощью Yoast SEO, вам не нужно ничего делать, кроме установки и активации бесплатного плагина Yoast SEO. По умолчанию Yoast SEO создает карту сайта по адресу:

.

ваш сайт.ru / sitemap_index.xml

Это достаточно просто! Но многие люди не знают, что Yoast SEO также позволяет настраивать работу вашей XML-карты сайта. Вот как это сделать:

Перейдите на SEO → Функции и включите Страницы дополнительных настроек :

Как включить расширенное управление картой сайта Yoast XML

Обязательно сохраните изменения. Как только вы это сделаете, вы получите доступ к новой опции XML Sitemaps в меню SEO на боковой панели панели инструментов:

Доступ к XML-файлам Sitemap Yoast SEO

Там вы можете использовать вкладки вверху, чтобы:

  • Выберите, следует ли включать карту сайта ваших авторов
  • Выберите, какие типы сообщений / таксономии включить в карту сайта.
  • Вручную исключите отдельные фрагменты контента из карты сайта с помощью их идентификатора сообщения - это особенно полезно, если вы добавили тег noindex к определенным фрагментам контента.

Настройка карт сайта Yoast SEO XML

Другие плагины WordPress, которые помогут вам создать карту сайта XML

Хотя Yoast SEO - это рекомендуемый нами инструмент, который поможет вам создать карту сайта XML для WordPress, это ни в коем случае не единственный вариант.

Подпишитесь на информационный бюллетень

Хотите узнать, как мы увеличили трафик более чем на 1000%?

Присоединяйтесь к 20 000+ другим пользователям, которые получают нашу еженедельную новостную рассылку с инсайдерскими советами по WordPress!

Подпишитесь сейчас

Другие качественные плагины включают:

  • Google XML Sitemaps - популярный плагин, предназначенный специально для XML-карт сайта, а не для SEO в целом.
  • The SEO Framework - перспективный плагин для SEO, который включает в себя функции карты сайта XML.

Как создать карту сайта для вашего сайта с помощью XML Sitemap Generator

Не любите плагины WordPress? Или используете что-то, кроме WordPress? Не беспокойтесь - вы также можете создать карту сайта в формате XML с помощью отдельного инструмента под названием XML Sitemap Generator. Этот инструмент позволяет вам создать карту сайта в формате XML для вашего сайта через:

  • Облачный инструмент
  • Настольная программа (только для Windows)
  • Плагин WordPress (если вы передумали и не хотите использовать плагин WordPress!)

Вот как использовать облачный инструмент для создания карты сайта:

Зайдите в XML Sitemap Generator, прокрутите вниз и выберите опцию Online Generator :

Использование XML Sitemap Generator

На следующей странице…

  • Введите URL-адрес главной страницы вашего веб-сайта
  • Выберите способ расчета даты последнего изменения
  • Выберите частоту изменения (как часто будут меняться ваши страницы)
  • Выберите приоритет сканирования по умолчанию
  • Введите адрес электронной почты
  • Нажмите Создать карту сайта

Настройка генератора XML-карты сайта

Вы также можете нажать кнопку Дополнительные настройки , чтобы настроить дополнительные параметры:

Дополнительные параметры конфигурации

После того, как вы нажмете Создать карту сайта , произойдет задержка, пока XML Sitemap Generator сканирует ваш сайт.Если у вас небольшой сайт, это займет немного времени, но для больших сайтов может потребоваться больше времени. По завершении вы сможете скачать различные карты сайта:

Скачать карту сайта

После того, как вы загрузите файл карты сайта, вам нужно будет загрузить его в корневую папку вашего веб-сайта .

Как отправить карту сайта в Google и другие поисковые системы

Если у вас есть рабочая XML-карта сайта, вы захотите пойти еще дальше, и фактически отправит эту карту сайта в основные поисковые системы .Это:

  • Гарантирует, что Google знает, где найти вашу карту сайта
  • Предоставляет полезные данные о том, сколько страниц проиндексировал Google (я показал вам этот снимок экрана ранее).

Чтобы отправить XML-карту сайта в Google, вам потребуется учетная запись Google Search Console. Если у вас его еще нет, вот как зарегистрироваться и подтвердить свой веб-сайт с помощью консоли поиска Google. После настройки учетной записи Google Search Console вы можете отправить карту сайта, перейдя в Сканирование → Карты сайта и нажав кнопку ДОБАВИТЬ / ПРОВЕРИТЬ КАРТУ САЙТА :

Как отправить карту сайта в Google

Затем добавьте местоположение вашей карты сайта и нажмите Отправить .Если вы использовали Yoast SEO для создания карты сайта, все, что вам нужно сделать, это вставить в «sitemap_index.xml»:

Добавьте местоположение карты сайта

Как только Google обработает вашу карту сайта, вы сможете просматривать статистику в той же области. Сюда входит полезная информация об ошибках (например, 404), которые могут возникать на вашем сайте, например, как в приведенном ниже примере.

При тестировании выборки URL-адресов из вашего файла Sitemap мы обнаружили, что некоторые URL-адреса недоступны для робота Googlebot из-за ошибки статуса HTTP.Все доступные URL-адреса по-прежнему будут отправлены.

ошибок карты сайта WordPress

Как отправить карту сайта в Bing

Пока король Google, Bing все еще существует. Так что для большего охвата вы также можете отправить свою карту сайта в Bing. Вот руководство Bing о том, как это сделать. Этот процесс очень похож на Google - вам нужно зарегистрировать учетную запись Bing Webmaster Tools. Затем вы можете отправить карту сайта прямо из панели управления.

Как добавить навигацию по карте сайта в формате HTML в WordPress

В этой публикации мы сосредоточили внимание на XML-файлах Sitemap.Но это не единственный вид карты сайта, который вы можете добавить на свой сайт WordPress. HTML-карта сайта - это более удобная версия карты сайта. Вы, наверное, видели их раньше - это в основном маркированный список ссылок, которые помогают людям легко перемещаться по вашему сайту.

Например, вот наша (частичная) карта сайта в Kinsta:

Карта сайта Kinsta в нижнем колонтитуле

HTML-карты сайта не обязательно включают каждую страницу вашего сайта, но они позволяют посетителям быстро переходить на все ваши самые важные страницы.Хотя вы всегда можете вручную создать область навигации карты сайта HTML, более автоматизированным подходом является использование подключаемого модуля Simple Sitemap. Этот плагин позволяет создавать карту сайта по:

  • Включая только определенные типы сообщений
  • Ограничение количества отображаемых дочерних страниц
  • Без учета идентификаторов сообщений
  • Различные способы упорядочивания страниц

Плагин также включает готовые шаблоны, которые помогут вам быстро создавать общие типы карт сайта.После настройки параметров вы можете отображать карту сайта в любом месте вашего сайта с помощью простого шорткода.

Для его использования установите и активируйте плагин. Затем перейдите в Настройки → Простой файл Sitemap . Вы можете либо щелкнуть одну из демонстраций, чтобы получить готовый шорткод, либо создать свой собственный шорткод, используя различные атрибуты шорткода:

Как создать карту сайта в формате HTML

Начните использовать карты сайта для WordPress сегодня

Карта сайта XML - одна из тех вещей, которые нужны каждому сайту WordPress.Хотя это не приведет к тому, что ваш сайт выйдет прямо на вершину поисковой выдачи, это отличный способ ускорить и тщательнее сканировать ваш сайт. Самый простой способ создать карту сайта XML на WordPress - использовать плагин Yoast SEO, но вы также можете найти множество других плагинов, которые помогут вам в этом.

Рекомендуемый учебник: лучшие плагины SEO для WordPress (и обязательные инструменты SEO)

И как только вы создадите карту сайта, вы должны отправить ее в Google Search Console, чтобы получить ценную информацию о том, как Google индексирует ваш сайт.Мы надеемся, что вам понравилось наше руководство, и оставьте комментарий, если у вас возникнут дополнительные вопросы по работе с WordPress и картами сайта.


Экономьте время, деньги и повышайте производительность сайта с помощью:

  • Мгновенная помощь от экспертов по хостингу WordPress, 24/7.
  • Cloudflare Enterprise интеграция.
  • Глобальный охват аудитории с 28 центрами обработки данных по всему миру.
  • Оптимизация с помощью нашего встроенного мониторинга производительности приложений.

Все это и многое другое в одном плане без долгосрочных контрактов, поддержки миграции и 30-дневной гарантии возврата денег.Ознакомьтесь с нашими планами или поговорите с отделом продаж, чтобы найти план, который подходит именно вам.

Что они из себя представляют, как создать и отправить в Google

Карты сайта - это старые, но полезные вещи для SEO.

На самом деле, это один из самых важных элементов SEO, потому что они помогают Google и другим поисковым системам находить страницы на вашем сайте.

Не говоря уже о том, что они также помогают вам лучше ранжироваться, потому что Google может находить новые страницы и определять обновления старых страниц намного быстрее.

В двух словах: без них жить нельзя.

Я часто слышал, что они могут показаться сложными и технически сложными для понимания.

Но не позволяйте разочарованию из-за их технических особенностей выкинуть ваш компьютер в окно - я вас поддержу!

Я покажу вам, что такое карты сайта, как их создать, как отправить их в Google, и все основные передовые практики.

Что такое карта сайта?

Чтобы начать с основ, карта сайта - это файл, который предоставляет информацию о страницах, видео, изображениях и других файлах на вашем веб-сайте.Это важно по разным причинам, в том числе:

  • Действует как план действий для Google и других поисковых систем по поиску и лучшему пониманию вашего содержания.
  • Ведущие поисковые системы по вашему веб-сайту для сканирования и индексации важных страниц.
  • Помогает поиску определять, когда доступны новые страницы и обновления старых страниц.
  • Помогает поисковым системам находить версии вашей страницы на других языках.

Но прежде чем я пойду дальше, вы должны знать, что существует два типа форматов карты сайта: HTML и XML.Вот основная разница:

HTML-карты сайта: Это больше похоже на карту сайта для содержания, которую пользователи могут видеть и использовать для навигации по вашему сайту. Их также обычно называют «архивом веб-сайта». Некоторые маркетологи считают карты сайта в формате HTML устаревшими или даже совершенно ненужными.

XML-карты сайта: Это карта сайта, которая используется исключительно для индексации и сканирования вашего веб-сайта и отправляется вручную. Это более современная форма управления хранением всего вашего контента на вашем веб-сайте.

Хотя карты сайта в формате HTML могут помочь пользователям находить страницы на вашем сайте, как сказал Джон Мюллер, ваша внутренняя ссылка в любом случае должна позаботиться об этом. Таким образом, с точки зрения SEO, следует сосредоточить внимание на XML-файлах Sitemap.

Типы файлов Sitemap

Из этих двух типов карт сайта, описанных выше, в них также есть подразделы. Я сейчас рассмотрю их более подробно.

1. Страница Карта сайта

Карта сайта или обычная карта сайта улучшает индексацию страниц и сообщений.Для сайтов, которые не ориентированы на изображения или видео, таких как сайты фотографий и видео, карта сайта также может включать изображения и видео на каждой странице.

Карта сайта без изображения будет выглядеть так:

https://example.com/

17.09.2020

ежедневно

<приоритет> 0.9

Включите ваши URL-адреса в теги . указывает, когда страница последний раз редактировалась. указывает, как часто страница редактируется, а указывает, насколько важна страница для других страниц веб-сайта в целом. Вы можете взглянуть на XML-формат Sitemap для получения дополнительной информации об этих параметрах.

2. Видео Карта сайта

Карта сайта для видео в формате XML похожа на карту сайта для страниц, но, конечно же, в основном ориентирована на видеоконтент, а это означает, что они необходимы только в том случае, если видео имеют решающее значение для вашего бизнеса.В противном случае сохраните бюджет сканирования (ограниченное количество страниц и ресурсов для сканирования на вашем сайте) и добавьте ссылку на видео в карту сайта своей страницы.

Но если вам нужна карта сайта для видео, она будет выглядеть так:

Примечание. Так выглядит карта сайта для видео. Применяйте его только в том случае, если видео критично для вашего бизнеса.

3. Новости Карта сайта

Если вы публикуете новости и хотите, чтобы эти новостные статьи отображались в главных новостях и в Новостях Google, вам понадобится карта сайта для новостей.Здесь есть важное правило: не включайте в файл статьи, опубликованные дольше двух последних дней.

Карты сайта Новостей Google не входят в число обычных результатов ранжирования, поэтому убедитесь, что вы добавляете только новостные статьи. Кроме того, они не поддерживают ссылки на изображения, поэтому Google рекомендует использовать структурированные данные для указания миниатюры статьи.

4. Изображение Карта сайта

Как и карты сайта для видео, карты сайта с изображениями необходимы только в том случае, если изображения имеют решающее значение для вашего бизнеса, например сайты с фотографиями или стоковыми фотографиями.Если это не так, вы можете оставить их в карте сайта своей страницы и пометить их схемой объекта изображения, и они будут сканироваться вместе с содержимым страницы / URL.

Если вы считаете, что необходима карта сайта с изображениями, она будет выглядеть так:

https: // пример.ru /

<изображение: изображение>

https://example.com/image-url.png

https://example.com/second-image-url.png

5.Индекс Sitemap

Есть несколько ограничений, которые следует учитывать для карт сайта:

  • Наличие слишком большого количества URL-адресов приведет к невозможности индексации только некоторых из ваших страниц.
  • Все карты сайта, кроме карты сайта новостей, должны содержать не более 50 000 URL.
  • Карты сайта для новостей должны содержать не более 1000 URL.
  • Размер несжатого файла карты сайта должен составлять не более 50 МБ.

В результате этих ограничений вам может потребоваться более одной карты сайта.Если вы используете более одного файла карты сайта, вам понадобится индексный файл, в котором перечислены все эти карты сайта. Это индексный файл, который вы отправляете в Google Search Console и Bing Webmaster Tools. Этот файл должен выглядеть так:

Пример XML-файла Sitemap

До сих пор вы видели структуру каждой карты сайта. Большинству веб-сайтов потребуется только карта сайта, содержащая изображения на каждой странице. Это выглядит так:

Карта сайта Приоритеты

Добавление приоритетов в карту сайта - это одна из вещей, которые многие люди делают, чтобы различать, насколько важны разные страницы, но Гэри Илес из Google отметил, что Google игнорирует эти приоритеты.По его точным словам:

Вообще говоря, если вы честно знаете, когда ваш контент был фактически изменен, включите его в свою карту сайта, чтобы Google и другие поисковые системы знали, что нужно повторно сканировать измененную страницу и индексировать новый контент.

Как создать карту сайта

В этом разделе я покажу вам, как создать карту сайта без использования какого-либо генератора или плагина. Если ваш веб-сайт находится на WordPress или вы предпочитаете использовать генератор (который упрощает эту задачу), переходите к следующему разделу.

Вот точные шаги, которые необходимо выполнить для создания карты сайта вручную:

1. Решите, какие страницы вашего сайта должны сканироваться Google, и определите каноническую версию каждой страницы.

Канонические версии необходимы, если у вас есть дубликаты страниц. Например, предположим, что вы обслуживаете международное сообщество и имеете страницы для каждого местоположения с одинаковым языком и содержанием, например example.com/us/page и example.com/ca/page для посетителей из США и Канады, соответственно.

В этом случае важно, чтобы вы указали на оригинал, который может быть example.com/page или , один из двух в качестве канонического. Если вы хотите узнать больше о том, как это работает, этот пост подробно объясняет канонизацию.

Кроме того, не включайте URL-адреса, которые заблокированы файлами robots.txt, требуют входа в систему для доступа или защищены паролем, так как поисковые роботы не могут их сканировать. Вы получите ошибки покрытия в GSC, только если их добавите.

2.Определите, нужно ли вам больше одной карты сайта.

Некоторые веб-сайты используют отдельные файлы для страниц, сообщений и категорий. Помните, что если у вас более 50 000 URL-адресов, вам понадобится несколько карт сайта.

3. Закодируйте все свои URL-адреса в тегах XML, чтобы они выглядели как карта сайта, которую вы хотите создать.

На этой странице более подробно объясняется, как использовать теги XML.

4. Если у вас несколько файлов карты сайта, создайте файл индекса карты сайта и включите ссылки на отдельные карты сайта, которые вы создали.

Этот уже описан в разделе «Индекс Sitemap».

Генераторы карты сайта

Большинство из нас, маркетологов, не имеют опыта веб-разработки, поэтому мы не можем писать код, чтобы спасти свою жизнь. Если мысль о создании карты сайта вручную вызывает у вас головную боль, используйте генератор карты сайта и сэкономьте 12 дней на просмотре сложного кода.

Есть несколько генераторов карты сайта, которые вы можете использовать:

  • TechnicalSEO от Merkle имеет один, куда вы можете загрузить файл CSV с вашими URL-адресами.Это особенно здорово, если у вас есть разные языковые версии ваших страниц (теги hreflang). Если ваш веб-сайт имеет индивидуальный код и не находится на какой-либо CMS или конструкторе, который генерирует карту сайта, вам необходимо использовать генератор, например TechnicalSEO.
  • У
  • Screaming Frog SEO Spider есть еще одно приложение, которое мне нравится использовать с простыми сайтами, созданными на заказ. В Screaming Frog убедитесь, что вы используете режим паука. Вы можете сделать это, нажав на «Режим» и выбрав «паук». Затем введите URL-адрес своей домашней страницы и позвольте ему сканировать.Когда это будет сделано, нажмите «Карты сайта».

Чтобы прояснить, как использовать Screaming Frog, взгляните на изображение ниже:

Чтобы сохранить XML-файл на свой компьютер, отметьте все параметры, которые имеют значение для вашего сайта, и нажмите «Экспорт». Затем загрузите этот файл на свой сервер в корневой каталог.

Оба инструмента не обновляют файл карты сайта автоматически. Некоторые инструменты работают, но они платные, поэтому вы платите за услугу.

Однако вам не придется иметь дело с чем-либо из вышеперечисленного, если ваш веб-сайт находится на WordPress или на платформе электронной коммерции, такой как Shopify.

Для сайтов WordPress Yoast и Rank Math - популярные плагины SEO, которые генерируют карты сайта и обновляют их, когда вы редактируете свои сообщения и страницы, а Shopify даже автоматически генерирует карты сайта.

Как отправить файл Sitemap в Google

Лучший способ отправить карту сайта в Google - через Google Search Console (GSC). Есть и другие способы и дополнительные шаги, но я начну с GSC, потому что это наиболее распространенный метод.

Выполните следующие действия:

1.Зайдите в Google Search Console и нажмите «Sitemap».

2. Введите URL-адрес карты сайта и нажмите «Отправить». Если у вас есть несколько карт сайта с файлом индекса карты сайта, вам нужно только ввести URL-адрес для файла индекса.

В качестве альтернативы, если вы еще не отправили его в GSC, есть другой способ сообщить Google, что он у вас есть, добавив эту строку в свой robots.txt:

Карта сайта: http://example.com/sitemap.xml

Но, конечно, здесь указан URL-адрес, который у вас есть.И если у вас есть индексный файл, включите сюда только ваш индексный файл.

Если (по какой-то странной причине) вы не используете GSC, воспользуйтесь службой ping, чтобы сообщить Google, что он должен сканировать ваш файл. Для этого введите в браузере URL-адрес, указанный ниже:

http://www.google.com/ping?sitemap=https://example.com/sitemap.xml

Замените https://example.com/sitemap.xml URL-адресом вашей карты сайта.

И готово!

Карта сайта Лучшие Лрактики

Теперь, когда вы понимаете важность карт сайта, принцип их работы и варианты их отправки, давайте, следуя этим передовым методам, убедимся, что созданный вами окончательный вариант находится в идеальном состоянии.

1. Используйте инструменты для создания автоматических карт сайта.

Создание и обновление карты сайта XML вручную потребует много времени (и излишне сложно). Чтобы сэкономить время, чтобы вы могли сосредоточиться на других вещах, таких как следующий разгул Netflix, лучше всего использовать автоматический генератор карты сайта.

Те, которые упомянуты выше для WordPress, поставляются с этой функцией бесплатно. За сайты, созданные на заказ, вам придется заплатить, но, на мой взгляд, это абсолютно то, за что стоит платить.

2.Регулярно проверяйте и обновляйте карту сайта.

Все части SEO - это постоянные усилия, поэтому регулярно проверяйте свои карты сайта. Консоль поиска отлично сообщает вам, есть ли у отправленных вами URL-адресов проблемы со сканированием или индексированием.

Регулярно проверяйте раздел «Покрытие» в GSC и обновляйте свой сайт или карту сайта при обнаружении ошибок. Самое замечательное в этом то, что он сообщает вам, в чем именно заключается ошибка, с предложениями о том, как ее исправить.

Вы также можете использовать Screaming Frog для обслуживания карты сайта.После сканирования вашего веб-сайта или URL-адреса карты сайта проверьте вкладку кода ответа на наличие ошибок 404 или 5xx.

Если вы используете инструмент или плагин для автоматического создания карты сайта, обновляйте его, когда будут доступны обновления. Кроме того, периодически просматривайте карту сайта, переходя по URL-адресу карты сайта и проверяя, отсутствует ли какая-либо страница или неверно ли время последнего обновления.

3. Расставьте приоритеты в высококачественных страницах в карте сайта.

Хотя Google больше не обращает внимания на тег приоритета (по крайней мере, так они говорят), вы все равно можете добавить его, потому что существует нечто большее, чем Google (да, как SEO я признаю это).Bing может обратить внимание на этот тег, поэтому по-прежнему рекомендуется отдавать приоритет высококачественным страницам в карте сайта.

Приоритет файла Sitemap показывает, какие страницы сканировать и индексировать быстрее, поэтому вы можете установить приоритеты, используя значения от 0,00 до 1,00. Но не используйте одно и то же значение для всех страниц, иначе Google не сможет определить, какое из них наиболее важно.

Для значений вы можете использовать что-то вроде этого:

  • Домашняя страница - 1.00
  • Основные целевые страницы - 0.90
  • Прочие посадочные страницы - 0,85
  • Основные ссылки на панели навигации - 0,80
  • Остальные страницы на сайте - 0.75
  • Лучшие статьи / сообщения в блогах, такие как страницы хаба - 0,80
  • Страницы категорий блога - 0,75
  • Прочие сообщения - 0,64

4. Включите в карту сайта только канонические версии URL.

Ваша карта сайта должна содержать только те URL, которые вы хотите проиндексировать поисковыми системами. Это означает, что если URL-адрес указывает на другой в качестве своей канонической версии, вы не должны включать его, поскольку это заявление для Google и других поисковых систем о том, что вы не хотите, чтобы этот URL-адрес индексировался.

Игнорирование этого и включение этого URL-адреса в карту сайта предоставляет Google противоречивую информацию. Неправильный URL-адрес может быть проиндексирован, или вы получите ошибки покрытия в GSC. Таким образом, включайте только канонические версии, чтобы вы могли укрепить свои позиции в результатах поиска.

5. Разделите большие карты сайта на части.

Я уже упоминал об этом выше, что вам необходимо разделить карту сайта на несколько файлов, если она превышает 50 МБ или имеет более 50 000 URL-адресов. Никогда не отправляйте в Google большие XML-файлы, иначе некоторые из ваших URL-адресов не будут проиндексированы - и вы хорошо знаете, что каждый URL-адрес имеет значение!

Один быстрый совет - сохранять каждый файл с понятными для вас именами, например page_sitemap1.xml и page_sitemap2.xml.

И на этом я желаю вам удачного составления карты сайта!

XML-файлы Sitemap: самый непонятый инструмент в наборе инструментов SEO

Взгляды автора полностью его собственные (за исключением маловероятного случая гипноза) и не всегда могут отражать точку зрения Moz.

За все годы консультирования по SEO я видел много клиентов с дикими неправильными представлениями о XML-файлах Sitemap. Это, безусловно, мощный инструмент, но, как и любой другой электроинструмент, небольшое обучение и знание того, как работают все элементы, имеют большое значение.


Индексация

Вероятно, наиболее распространенным заблуждением является то, что карта сайта XML помогает индексировать ваши страницы. Первое, что нам нужно прямо сказать: Google не индексирует ваши страницы только потому, что вы вежливо попросили. Google индексирует страницы, потому что (а) они их нашли и просканировали, и (б) они считают их достаточно хорошего качества, чтобы их можно было индексировать. Указание Google на страницу и просьба проиндексировать ее на самом деле не имеет никакого значения.

Сказав это, - это , важно отметить, что, отправляя карту сайта XML в Google Search Console, вы даете Google подсказку, что вы считаете страницы в карте сайта XML качественными целевыми страницами поиска, достойными индексации.Но это всего лишь намек на то, что страницы важны ... как ссылка на страницу из вашего главного меню.


Согласованность

Одна из наиболее распространенных ошибок, которые, как я вижу, совершают клиенты, - это отсутствие единообразия в сообщениях в Google о данной странице. Если вы заблокируете страницу в файле robots.txt, а затем включите ее в карту сайта XML, вас подразнят. «Вот, Google ... хорошая, сочная страница, которую действительно стоит проиндексировать», - говорится в вашей карте сайта. Но затем ваш robots.txt забирает его. То же самое и с мета-роботами: не включайте страницу в XML-карту сайта, а затем установите мета-роботов "noindex, follow."

Пока я занимаюсь этим, позвольте мне кратко рассказать о мета-роботах:" noindex "означает, что страницу не индексировать." Nofollow "означает ничего об этой странице. Это означает" не переходить по исходящим ссылкам с этой страницы, "т.е. продолжайте и слейте весь этот ссылочный сок в унитаз. Вероятно, есть какая-то неясная причина для установки мета-роботов" noindex, nofollow ", но я не понимаю, что это может быть. Если вы хотите, чтобы Google набрал не индексировать страницу, установите мета-роботов на "noindex, follow.«

Хорошо, разглагольствуем…

В общем, вы хотите, чтобы каждая страница вашего сайта попадала в две группы:

  1. Служебные страницы (полезны для пользователей, но не то, что вы ожидаете от них в качестве целевой страницы поиска)
  2. Вкусные, высококачественные поисковые целевые страницы

Все, что находится в корзине № 1, должно быть заблокировано с помощью robots.txt или заблокированных с помощью мета-роботов "noindex, follow" и должно быть , а не в карте сайта XML.

Все, что находится в корзине № 2, должно быть заблокировано , а не в robots.txt, если не имеют мета-роботов «noindex» и, вероятно, должны быть в карте сайта XML.

(Изображение корзины, до того, как я их украсил, любезно предоставлено Историческим обществом Миннесоты на Flickr.)


Общее качество сайта

Похоже, что Google в какой-то мере измеряет общее качество сайта и использует этот сайт - показатель влияния на рейтинг - и я не говорю здесь о ссылочном весе.

Подумайте об этом с точки зрения Google. Допустим, у вас есть одна отличная страница с потрясающим контентом, который отвечает всем требованиям, от актуальности до Panda до взаимодействия с социальными сетями. Если Google видит ваш сайт как 1000 страниц с контентом, из которых только 5–6 страниц похожи на эту одну отличную страницу ... ну, если Google отправит пользователя на одну из этих отличных страниц, каким будет пользовательский опыт, если они нажмут ссылку на этой странице и посетить что-нибудь еще на своем сайте? Скорее всего, они попадут на отстойную страницу.Это плохой UX. Зачем им отправлять пользователя на такой сайт?

Инженеры Google, безусловно, понимают, что на каждом сайте есть определенное количество "служебных" страниц, которые полезны для пользователей, но не обязательно страницы типа контента, которые должны быть целевыми страницами из поиска: страницы для обмена контентом с другими, ответа на комментарии, вход в систему, восстановление утерянного пароля и т. д.

Если ваша XML-карта сайта включает все эти страницы, о чем вы сообщаете Google? Более или менее, вы не имеете ни малейшего представления о том, что является хорошим контентом на вашем сайте, а что нет.

Вот картинку, которую вы хотите нарисовать для Google. Да, у нас есть сайт с 1000 страницами ... и вот 475 из этих 1000 страниц нашего отличного контента. Остальные можно игнорировать - это служебные страницы.

Теперь предположим, что Google сканирует эти 475 страниц и с учетом их показателей решает, что 175 из них имеют оценку «A», 200 - «B +», а 100 - «B» или «B-». Это довольно неплохой общий средний показатель и, вероятно, указывает на довольно хороший сайт, на который можно направлять пользователей.

Сравните это с сайтом, который отправляет все 1000 страниц через карту сайта XML. Теперь Google просматривает 1000 страниц, которые, по вашему мнению, являются хорошим содержанием, и видит, что более 50% - это страницы типа "D" или "F". В среднем ваш сайт довольно отстойный; Google, вероятно, не хочет отправлять пользователей на такой сайт.


Скрытая ерунда

Помните, Google будет использовать то, что вы отправляете в свою карту сайта XML, как ключ к разгадке того, что, вероятно, важно на вашем сайте. Но то, что его нет в вашей XML-карте сайта, не обязательно означает, что Google проигнорирует эти страницы.У вас все еще может быть много тысяч страниц с едва достаточным содержанием и количеством ссылок, чтобы их проиндексировать, но на самом деле этого не должно быть.

Очень важно создать сайт: выполните поиск, чтобы увидеть всех страниц, которые Google индексирует с вашего сайта, чтобы найти страницы, о которых вы забыли, и очистить их от той «средней оценки», которую Google собирается поставить вашему site, установив мета-роботов "noindex, follow" (или заблокировав в robots.txt). Как правило, самые слабые страницы, которые все же попали в индекс, будут перечислены последними на сайте: поиск.


Noindex vs. robots.txt

Существует важное, но тонкое различие между использованием мета-роботов и использованием robots.txt для предотвращения индексации страницы. Использование мета-роботов «noindex, follow» позволяет ссылочной массе с на этой страницы переходить из на страницы, на которые она ссылается. Если вы заблокируете страницу с помощью robots.txt, вы просто смываете ее в унитаз.

В приведенном выше примере я блокирую страницы, которые не являются настоящими страницами - они отслеживают скрипты - поэтому я не теряю ссылочный вес, так как эти страницы НЕ имеют заголовка со ссылками главного меню и т. Д.

Думайте о странице как о странице «Свяжитесь с нами» или о странице Политики конфиденциальности, на которую, вероятно, ссылается каждая отдельная страница вашего сайта через главное меню или нижний колонтитул. Так что на эти страницы идет тонна ссылочного веса; ты просто хочешь выбросить это? Или вы бы предпочли, чтобы этот ссылочный капитал поступал на все, что есть в вашем главном меню? Легко ответить на вопрос, не правда ли?


Управление пропускной способностью сканирования

Когда вы действительно можете использовать вместо него robots.txt? Возможно, если у вас возникли проблемы с пропускной способностью сканирования, а робот Googlebot тратит много времени на загрузку служебных страниц, только для того, чтобы обнаружить в них мета-роботов «noindex, следуйте» и вынужден выйти из него.Если у вас их так много, что робот Googlebot не получает доступ к вашим важным страницам, возможно, вам придется заблокировать их через robots.txt.

Я видел, как несколько клиентов заметили улучшение ранжирования по всем направлениям за счет очистки своих XML-карт сайта и отказа от индексации служебных страниц:

Действительно ли у меня от 6000 до 20 000 страниц нужно сканировать ежедневно? Или робот Googlebot ищет URL-адреса для ответов на комментарии или отправки по электронной почте?

К вашему сведению, если у вас есть основной набор страниц, контент которых регулярно меняется (например, страницы блога, новых продуктов или категорий продуктов), и у вас есть тонна страниц (например, страницы отдельных продуктов), на которых он Было бы хорошо, если бы Google их проиндексировал, но не за счет отказа от повторного сканирования и индексации основных страниц, вы можете отправить основные страницы в карту сайта XML, чтобы дать Google понять, что вы считаете их более важными, чем те, которые не являются t заблокированы, но их нет в карте сайта.


Отладка проблемы индексации

Вот где карта сайта в формате XML действительно полезна для SEO-специалистов: когда вы отправляете группу страниц в Google для индексации, и только некоторые из них фактически индексируются. Консоль поиска Google не сообщит вам , какие страниц они индексируют, а только общее количество, проиндексированное в каждой карте сайта XML.

Допустим, у вас сайт электронной коммерции, и у вас есть 100 000 страниц продуктов, 5 000 страниц категорий и 20 000 страниц подкатегорий.Вы отправляете XML-карту сайта 125 000 страниц и обнаруживаете, что Google индексирует 87 000 из них. Но какие 87 000?

Во-первых, страницы категорий и подкатегорий, вероятно, ВСЕ являются важными целями поиска для вас. Я бы создал category-sitemap.xml и subcategory-sitemap.xml и отправил бы их отдельно. Вы ожидаете увидеть здесь почти 100% индексацию - а если вы этого не понимаете, то знаете, что вам нужно подумать о создании большего количества контента на них, увеличении количества ссылок на них или и о том, и о другом.Вы можете обнаружить что-то вроде страниц категорий продуктов или подкатегорий, которые не индексируются, потому что на них есть только 1 продукт (или вообще нет). В этом случае вы, вероятно, захотите установить мета-роботов «noindex, подписывайтесь» на них и вытащить их из карты сайта XML.

Скорее всего, проблема заключается в некоторых из 100 000 страниц продукта - но в каких именно?

Начните с гипотезы и разделите страницы продуктов на разные карты сайта XML, чтобы проверить эти гипотезы.Вы можете сделать несколько одновременно - нет ничего плохого в том, что URL-адрес существует в нескольких файлах Sitemap.

Вы можете начать с трех теорий:

  1. Страницы, на которых нет изображения продукта, не индексируются
  2. Страницы, содержащие менее 200 слов уникального описания, не индексируются
  3. Страницы без комментариев / обзоров не индексируются

Создайте карту сайта XML со значимым количеством страниц, которые попадают в каждую из этих категорий.Необязательно, чтобы было всех страниц в этой категории - достаточно, чтобы размер выборки позволял сделать разумный вывод на основе индексации. Например, вы можете сделать по 100 страниц в каждой.

Ваша цель здесь состоит в том, чтобы использовать общий процент индексации любой данной карты сайта для определения атрибутов страниц, которые заставляют их индексироваться или не индексироваться.

Как только вы узнаете, в чем проблема, вы можете либо изменить содержимое страницы (или ссылки на страницы), либо не индексировать страницы.Например, у вас может быть 20 000 из 100 000 страниц продукта, на которых описание продукта состоит менее чем из 50 слов. Если это не очень популярные термины и вы получаете описания из фида производителя, вероятно, не стоит пытаться вручную написать дополнительные 200 слов описания для каждой из этих 20 000 страниц. Вы также можете настроить мета-роботов на «noindex, follow» для всех страниц, содержащих менее 50 слов описания продукта, поскольку Google все равно не будет их индексировать, и они просто снижают общий рейтинг качества вашего сайта.И не забудьте удалить их из XML-карты сайта.


Динамические карты сайта XML

Теперь вы думаете: «Хорошо, отлично, Майкл. Но теперь мне нужно вручную синхронизировать свою карту сайта XML с моими мета-роботами на всех моих 100000 страницах», и это не так. скорее всего произойдет.

Но делать это вручную не нужно. Карты сайта XML не обязательно должны быть статическими файлами. Фактически, им даже не нужно иметь расширение .XML, чтобы отправлять их в Google Search Console.

Вместо этого настройте логику правил, определяющую, будет ли страница включена в карту сайта XML или нет, и используйте ту же логику на самой странице, чтобы установить метаиндекс роботов или noindex.Таким образом, в тот момент, когда описание продукта из фида производителя обновляется производителем и увеличивается с 42 до 215 слов, эта страница на вашего сайта волшебным образом появляется в XML-карте сайта и устанавливает для своих мета-роботов значение «index, следить."

На моем туристическом веб-сайте я делаю это для множества разных страниц. Я использую классический ASP для этих страниц, поэтому у меня есть такие карты сайта:

Когда эти карты сайта извлекаются, вместо рендеринга HTML-страницы серверный код просто возвращает XML.Он выполняет итерацию по набору записей из одной из таблиц моей базы данных и выдает запись для каждой из них, которая соответствует определенным критериям.


Карты сайта для видео

О, а как насчет этих надоедливых XML-карт сайта для видео? Это , так что 2015. Wistia даже не беспокоится о том, чтобы их генерировать; вам следует просто использовать разметку JSON-LD и schema.org/VideoObject на самой странице.


Сводка

  1. Будьте последовательны - если он заблокирован в robots.txt или мета-роботами "noindex", то его лучше не указывать в вашей XML-карте сайта.
  2. Используйте ваши XML-карты сайта в качестве инструментов для поиска для обнаружения и устранения проблем с индексацией, и разрешайте / просите Google проиндексировать только те страницы, которые, как вы знаете, Google захочет проиндексировать.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *