Как проиндексировать сайт в яндексе: Как переиндексировать сайт — Вебмастер. Справка

Распространенные ошибки — Вебмастер. Справка

Одним из важнейших свойств интернета является свобода представления информации и большое разнообразие всевозможных форматов. Поисковая система Яндекс стремится корректно индексировать и ранжировать все документы, которые ей доступны. Однако, к сожалению, все еще возможны ситуации, когда та или иная информация будет воспринята нашими роботами не так, как это предполагалось вебмастерами:

• Навигация через скрипты. Наиболее распространенным способом размещения ссылки является HTML тег <A>. Но существуют и другие способы навигации между страницами. Например, можно использовать технологии JavaScript или Flash. Робот Яндекса не переходит по таким ссылкам, поэтому следует дублировать ссылки, реализованные при помощи скриптов, обычными текстовыми ссылками.

• Использование <iframe>. Для корректного ранжирования документа не рекомендуется использовать тег <iframe>, так как поисковый робот Яндекса не индексирует документы, подгружаемые в него.

• Избыточное автоматическое перенаправление (редиректы). По возможности избегайте использования редиректов. Редирект может быть полезен только в том случае, если адреса страниц меняются по техническим причинам и необходимо перенаправить пользователя на новый адрес страницы. Подробно см. в разделе Обработка редиректов.

• Адреса страниц. Каждая страница должна быть доступна по единственному и постоянному адресу. Желательно, чтобы адреса страниц сайта не содержали идентификаторы сессий, по возможности они также должны быть избавлены от списков cgi-параметров, заданных в явном виде.

• Клоакинг. Избегайте ситуаций, когда поисковый робот индексирует одно содержание страницы, а пользователь при обращении к этой странице получает другое. Например, в версиях сайта для разных регионов, о которых будет рассказано в разделе «Региональность».

• Изображения вместо текста. Избегайте создания страниц, не содержащих текст. Если главная страница сайта выполнена в виде изображения, являющегося ссылкой на основную часть сайта, и сама не содержит текста, это может помешать ранжированию сайта. Это происходит из-за того, что большинство внешних ссылок, как правило, ведут на главную страницу сайта, и если это документ без текста, надежность определения содержания документа несколько уменьшается.

• Soft 404. Одна из распространенных ошибок заключается в замене сообщения об ошибке 404 (страница не найдена) для несуществующих страниц на страницу-заглушку, которая возвращается с кодом ответа 200 (ОК). В этом случае поисковая система считает, что страница с некорректным адресом существует, и не удаляет ее из своей базы. Это приводит к более медленному индексированию полезных страниц на сайте.

• Движок сайта. Следите за корректностью работы программного обеспечения сайта — ошибки в скриптах сайта могут привести к тому, что одни и те же страницы при переходе на них из разных разделов будут иметь разные адреса. Это может негативно отразиться на индексировании сайта. Кроме того, ошибки в «движках» могут быть использованы злоумышленниками (например, для размещения ссылки на вредоносный сайт).

Узнавать об ошибках индексирования, если таковые возникают, можно в сервисе Яндекс.Вебмастер.

Примечание.

Чем проще и понятнее будет устроен ваш сайт, тем лучше он будет индексироваться.

К следующему разделу

Как отправить сайт или страницу на переиндексацию

Содержимое любого сайта периодически меняется. Добавляются новые тексты или страницы, формируются и удаляются категории. Пока Яндекс и Google не соизволят заглянуть на ваш ресурс и переиндексировать его, любые изменения будут бесполезны. Чтобы не ждать этого неделю, отправьте сайт на переиндексацию вручную.
Вообще сам процесс этот означает повторный обход страницы поисковиками и обновление информации о нем в кэше.

Переиндексируем сайт с помощью Яндекс. Вебмастер

Сначала авторизуйтесь в своем кабинете вебмастера. Если вас там нет, зарегистрируйтесь и добавьте свой сайт. Подтвердите права на владение сайтом через панель управления сайтом на 1С-UMI и перейдите в раздел «Индексирование» ― подраздел «Переобход страниц».
В пустом текстовом блоке укажите url (адрес) того сайта/страницы, который хотите отправить на переиндексацию. При желании можно вписать до 20 ссылок на различные страницы. Это нужно в том случае, если повторная индексация требуется не для всего веб-ресурса, а только для отдельных его страниц, где была обновлена какая-либо информация.

Указав ссылку, воспользуйтесь кнопкой «Отправить». После этого внизу, в блоке «Отправленные страницы», отобразятся те ссылки, которые были отправлены на переиндексацию в Яндекс.
Статусов может быть 3:

• В очереди — означает, что url’ы только что были добавлены и еще не успели обработаться.
• Робот обошел — поисковая система заглянула на сайт и учла его новое содержимое, осталось только дождаться ближайшего обновления.
• Ошибка — по какой-то причине произошел сбой. Попробуйте переиндексировать страницу заново.

После этих действий нужно немного подождать, и вскоре Яндекс будет выдавать только актуальные данные о вашем ресурсе.

Переиндексируем сайт с помощью Google Search Console

Если сайта еще нет в панели вебмастера Google, добавьте его. Если есть, следуйте инструкции ниже. Нас интересует инструмент Google Search Console.
В инструментарии сервиса найдите раздел «Crawl» и перейдите в подраздел «Fetch as Google».

Здесь вписываем адрес страницы без указания домена. Затем кликаем по кнопке «FETCH», ждем пару секунд добавления ссылки в список и появления надписи «COMPLETE» рядом с ним, что будет означать готовность к переиндексации.
Финальное действие — жмем на кнопку с названием «Request Indexing» напротив добавленной страницы. Это действие приведет к появлению окошка, где следует выбрать один из двух вариантов переобхода Google ресурса.

Первый пункт означает переиндексацию только одной страницы, а второй — повторное индексирование данной страницы и всех ссылок, размещенных на ней. Этот вариант отлично подойдет в том случае, если нужно переиндексировать несколько разделов или категорий веб-ресурса.

Переиндексируем сайт с помощью Mail.ru

Несмотря на относительно низкую популярность данной поисковой машины, с нее трафик также приходит, хоть и в небольших количествах. Самостоятельная индексация здесь происходит очень медленно, поэтому лучше это делать вручную, даже если не требуется переиндексация. А для последней в кабинете вебмастера есть отдельный инструмент.
К сожалению, Mail не позволяет отправлять на переиндексацию отдельные страницы, применить это можно только ко всему сайту.

Чтобы переиндексировать свой ресурс, авторизуйтесь в панели вебмастера, зайдите в раздел «Сканирование» и подраздел «Переиндексация». Затем просто кликните по кнопке с соответствующим вашей цели названием и дождитесь окончания процесса.

Предварительно лучше загрузить обновленную версию Sitemap, чтобы индексация была выполнена еще быстрее.
Осуществлять переиндексацию можно раз в неделю, но лучше делать это реже, чтобы столь частый переобход страниц не повредил текущим позициям сайта.

Переиндексируем сайт с помощью Bing.com

Данная поисковая система набрала популярность в США, но в Рунете ею мало кто пользуется. Несмотря на это, пренебрегать ею не стоит, так как даже один или два целевых посетителя могут принести неплохую прибыль бизнесу.
Если у вас уже зарегистрирован профиль в Microsoft, просто войдите в панель вебмастера, если еще нет, пройдите простую регистрацию.
Зайдите в раздел «Настройка сайта» и кликните по пункту «Отправить URL-адреса».

Укажите нужные страницы или весь сайт целиком и нажмите на кнопку «ОТПРАВИТЬ».
Bing также имеет возможность настраивать скорость сканирования и время обхода сайта. Помимо этого, вы можете при помощи функции «Управление обходом Bingbot» выбирать медленный или быстрый обход и его режим для определенного времени суток. Таким образом, можно увеличить пропускную способность, ограничив активность поискового бота в так называемый «час-пик». А в периоды затишья позволить Bing сканировать сайт на предмет добавления новых страниц или нового контента в виде статей и изображений.

Ускоряем индексацию с помощью соцсетей

Чтобы переиндексация или первичная индексация сайта прошла быстрее, можно попробовать публикации в соцсетях. Речь идет о публикации ссылок в Facebook, ВКонтакте и Twitter.

Что касается Facebook и VK, ссылки можно размещать как на личных страницах, так и в сообществах. Очень желательно на такие публикации создавать волну обсуждения, для этого ваш текст должен содержать небольшую провокацию (работайте с эмоциями), вопрос к аудитории. Это позволит создать вирусный эффект и способствует широкому охвату записи среди пользователей социальной сети. После популяризации вашего поста поисковые системы с большей вероятностью проиндексируют запись и перейдут по ссылке на ваш сайт.
Не забывайте, что переиндексация нужна только при обновлении содержимого сайта или добавлении новых страниц. Просто так ее делать не нужно!

Как проверить индексацию сайта в Google и Яндекс

Индексация сайта (поисковая индексация сайта) – сканирование сайта и добавление его в базу данных (индекс поисковых систем).

Это если совсем просто и коротко. А если подробнее?

Важно! Если вы хотите получать аудиторию из поисковых систем – сайт должен быть открытым для индексации.

Поисковые системы типа Яндекса и Google сканируют страницы сайтов, чтобы классифицировать их и добавить в Индекс – базу данных. Поисковые роботы – пауки или краулеры – собирают информацию о тексте, видео, изображениях и другом доступном для сканирования контенте. Робот проверяет его на соответствие требованиям, отсеивает спам и добавляет полезный контент в свою базу.

База данных поисковику нужна, чтобы выдавать пользователям верные результаты по запросам. Чем более релевантен сайт запросу, тем выше в списке результатов он находится, а значит и получает больше переходов.  

В данной статье мы разберемся с самыми важными вопросами, связанными с индексацией сайта и страниц: 

• Как узнать, проиндексирован ли сайт;
• Как проверить количество проиндексированных страниц сайта в поисковых системах Гугл и Яндекс;
• Как проверить индексацию страниц;
• Как ускорить индексацию сайта в Яндексе и Google;
• Какие поисковые операторы можно использовать;
• Как использовать robots.txt и sitemap.xml для быстрой индексации страниц.

Чтобы узнать подробно, как индексировать страницы или сайт и можно ли ускорить индексацию, пройдите бесплатные SEO курсы 2021 для начинающих от Сергея Кокшарова. Курс уже достуен в Академии Коллаборатора.

Чтобы проиндексировать сайт в Яндексе и Гугле, воспользуйтесь инструментами для вебмастеров: Яндекс.Вебмастером и Search Console. Поисковики индексируют сайты с разной скоростью. Например, Яндекс может «рассматривать» обычный сайт от недели до месяца, а вот Google сделает это максимум за неделю.

Но чтобы не ждать, можно самому повлиять на скорость индексации.

Чтобы добавить сайт в Яндекс.Вебмастер:

1. Войдите в свой аккаунт на Яндексе или зарегистрируйте новый.
2. Перейдите на сервис Вебмастер и впишите в поле адрес главной страницы вашего сайта.
3. Подтвердите, что вы владелец сайта. Сервис предложит вам добавить мета-тег в код страницы, либо другой способ подтверждения.
4. Робот проверит наличие мета-тега, добавит сайт и покажет информацию о нем.
5. Установите и привяжите к аккаунту Вебмастера Яндекс.Метрику, чтобы краулер использовал более точные данные.

После добавления сайта в панель вебмастера — ожидайте его индексации. Отслеживать статус индексации страниц вы можете в следующем отчете:

Проверка индексации страниц в Яндекс.Вебмастере

Чтобы добавить сайта в Google Search Console:

1. Перейдите на страницу Search Console и войдите в свой аккаунт или зарегистрируйтесь.
2. Добавьте сайт в систему.
3. Подтвердите права на сайт.

Когда сайт проиндексируется, вы увидите отчет. 

Проверка индексации страниц в Google

В основном пользователи рунета отдают предпочтение Google и Яндексу, но и несколько других поисковиков должны знать о вашем сайте, небольшие объемы трафика вы также можете получать оттуда.

Mail.ru имеет свой кабинет для вебмастеров. Вы можете добавить туда сайт по тому же принципу. 

Рамблер пользуется теми же данными, которые собирает Яндекс, так что вам не понадобятся дополнительные настройки.

Yahoo и Bing имеют общий кабинет для вебмастеров, с тех пор как два поисковика объединились. Вам нужно зарегистрироваться, после чего перейти в настройки вебмастера и добавить адрес сайта. После откроется страница, где нужно добавить сведения о сайте. Пройдет несколько недель, прежде чем информация о сайте начнет отображаться.

• частоты обновления контента;
• внутренних и внешних ссылок;
• наличия трафика на сайт с других источников;
• технической оптимизации сайта;
• корректной настройки CMS системы.

Да, рано или поздно роботы сами найдут ваш сайт и проиндексируют его, но ждать можно долго. Помимо ручного добавления сайта в систему поиска, существуют другие рекомендации.

Как ускорить индексацию в поисковых системах:

Главная рекомендация для ускорения индексации: создайте sitemap.xml на вашем сайте и добавьте его в Google Search Console и в Яндекс.Вебмастер.

Файл robots.txt хранится в корневом каталоге сайта, он может быть только один. Это текстовый файл, в который записывают правила для каждого отдельного поискового бота или для всех сразу. Правилами можно «спрятать» от роботов технические страницы, сделать акцент на важных и т. д.

Проверить файл можно прямо в Search Console и Яндекс.Вебмастере. 

У пауков ограниченное время на посещение сайта (краулинговый бюджет), и если дать ему обрабатывать все подряд страницы, то он может не успеть проиндексировать самые важные, «застряв» на технических.

Например, если у вас интернет-магазин, в robots.txt стоит закрыть от индексации внутренний поиск, корзины покупателей. Подробнее о работе с файлом можно прочесть в справке Google.

Sitemap.xml – карта сайта, куда нужно добавить все страницы, которые нужно проиндексировать. Карта поможет определить, где находятся страницы и частоту их обновления, приоритетность в структуре.

1. Необходимо создать карту сайта. 
2. Указать в карте сайту правила индексации страниц: дату обновления страниц, приоритет страниц и другие параметры. 
3. Добачить карту сайта в панели для вебмастеров Google Search Console и Яндекс.Вебмастер.   

Файл обычно располагается по адресу https://domain.com/sitemap.xml. 

Карта сайта выглядит примерно вот так:

В файле используются специальные теги XML:

• <url></url> – обозначает начало и конец блока страницы;
• <code></loc> – указывает адрес страницы;
• <lastmod></lastmod> – указывает дату последнего обновления страницы;
• <code><priority> – указывает приоритет страницы;
• <changefreq></changefreq> – указывает частоту обновления страницы с помощью:
  • never – никогда;
  • yearly – раз в год;
  • monthly – каждый месяц;
  • weekly – каждую неделю;
  • daily – каждый день;
  • hourly – каждый час.

Для больших сайтов имеет смысл создать несколько карт.

Внутренняя перелинковка – это ссылки на другие страницы вашего сайта. С ее помощью вы формируете структуру, которая помогает пользователям ориентироваться на сайте. 

Внтрення перелинковка ускоряет индексацию страниц, так как роботы сами проходят по ссылкам и проверяют их. Роботы сканируют сначала главную страницу и материалы с высокой приоритетностью. Грамотная перелинковка направит роботов на нужные страницы и значительно ускорит индексацию новых материалов.

Главные рекомендации по перелинковке:

1. Не делайте страницы с глубоким уровнем вложенности; идеальный вариант, это чтобы к любой странице сайта можно было добраться в 3 клика с главной страницы.
2. Используйте принцип “Википедии” – активно ставьте ссылки внутри статей и других страниц.

1. Избегайте одиноких страниц, на которые не ссылаются другие страницы.

Если кто-то ссылается на ваш сайт, значит ему доверяют. Чем больше внешних ссылок (бэклинков) на ваш сайт, тем больше вероятность получить внимание поискового бота. О том, как покупать ссылки для продвижения сайта, мы писали ранее. А если вы только разбираетесь в основах линкбилдинга, советуем почитать статью и посмотреть видео-урок, что такое линкбилдинг.  

Чаще остальных ресурсов боты сканируют соцсети и новостные порталы, ведь они обновляются чуть ли не каждую секунду. Ссылки с них на ваш сайт сработают лучше всего.

Сайты с самой высокой скоростью сканирования ссылок:

1. Twitter,
2. Facebook,
3. Вконтакте.

Яндекс больше любит связку ВК + Twitter. Попробуйте также размещать ссылки на тематических форумах. Чем больше пользователи будут взаимодействовать с постом со ссылкой и самой ссылкой, тем быстрее краулеры обратят на нее внимание.

Постоянно следите за тем, какие появляются внешние ссылки. Узнайте, как проверить обратные ссылки на сайт, как посмотреть внешние ссылки конкурента, какие есть бесплатные и платные сервисы.  

Есть несколько способов проверить, как проверить индексацию сайта или отдельной страницы в поисковых системах. 

С помощью поисковых операторов можно проверить индексацию сайта, количество страниц в индексе, индексацию отдельной страницы. С помощью поисковых операторов можно проверить количество проиндексированных страниц любого сайта, что очень важно при анализе сайтов конкурентов. 

1. site: — оператор для проверки индексации сайта в поисковых системах Яндекс или Google. Введите в строку поиска текст «site:[адрес вашего сайта]«, чтобы узнать количество индексируемых страниц.

Количество проиндексированных страниц в Google

Количество проиндексированных страниц в Яндексе

Обратите внимание! Если количество проиндексированных страниц в поисковых системах Гугл и Яндекс сильно отличается, это может говорить о проблемах на сайте, о санкциях поисковых систем.  

2. ulr: — оператор для проверки индексации страницы в поисковой системе Яндекс. Введите в строку поиска «ulr:[адрес проверяемой страницы]«, чтобы узнать, проиндексирована ли страница. 

 

Проверяем индексацию страницы в Яндексе

3. inulr: — оператор для проверки индексации страницы в поисковой системе Google. Введите в строку поиска «inulr:[адрес проверяемой страницы]«, чтобы узнать, проиндексирована ли эта страница. 

Многие SEO-специалисты пользуются плагинами и расширениями для проверки индексации, например RDS Bar. Его можно установить как расширение в браузер и проверить, открыта ли конкретная страница для индексации. Также RDS Bar позволяет проверить метатеги сайта, ИКС, узнать, нет ли запрета на индексацию текста или ссылок на странице, узнать другие важные параметры сайта или отдельных страниц.    

На скриншоте — плагин RDS bar для Google Chrome

Второй популярный плагин — Seo Magic — также показывает количество страниц в индексе Яндекса и Google. При нажатии на интересующую цифру открывается выдача поисковой системы.

Также популярны автоматические сервисы, которые массово собирают данные об индексации, такие как Netpeak Spider . Он может просканировать весь сайт, собрать все страницы. А Netpeak Checker выдаст сведения об индексации, информацию об ошибках и порекомендует, как от них избавиться. Софтина платная.

Бесплатный сервис PR-CY проверит, сколько страниц проиндексировано в посиковых системах Гугл и Яндекс.

Проверить индексацию страниц можно и в панелях вебмастеров Google и Яндекс.

Вы можете проверить: 

• количество проиндексированных страниц;
• динику индексации страниц поисковыми страницами;
• страницы, которые исключены из поиска;
• причины, почему страницы исключены из поиска.

Для Google зайдите в Search Console и на вкладке «Обзор» выберете график «Покрытие». График отображает разными цветами количество страниц без ошибок, с ошибками. Можно рассмотреть, какие ошибки мешают индексации. Новую страницу или исправленную можно отправить на индексацию кнопкой «Запросить индексирование».

В Яндекс.Вебмастер переходите на «Индексирование сайта», затем на «Страницы в поиске», где вы увидите количество страниц в поиске. 

Сайт или отдельные страницы могут не индексироваться поисковыми системами по ряду причин.

1. Поисковик еще не знает о сайте или странице. Прошло мало времени с момента появления страницы. Стоит подождать минимум две недели, чтобы сайт проиндексировался. Если сайт редко обновляется и на него нет внешних ссылок, поисковой бот просто не сможет узнать о нем.

2. Некоторые разделы закрыты для пауков. Это может происходить по желанию владельца сайта через robots.txt. Также возможно ваш сайт находится в черном списке – он может быть под санкциями или распространять вирусы.

3. Техническая ошибка на странице или сайте. Возможные ошибки:

• некорректные HTTP-заголовки;
• некорректные редиректы;
• неверно указанная кодировка, которую робот увидит как набор бессмысленных символов;
• ошибки сканирования, на которые указывают сами поисковики в панелях для вебмастеров;
• отсутствие или некорректная настройка sitemap.xml.

4. Плохое качество документов. Неуникальный контент, внутренние дубли, малый объем уникального текста, шаблонность в документах раздела, медленная скорость загрузки.

Чтобы проиндексировать новую страницу сайта или отправить на переиндексацию страницу, которую вы изменили, воспользуйтесь инструментами вебмастера Search Console и Яндекс.Вебмастер. 

1. В Google Search Console перейдите в раздел «Проверка URL».

2. Введите страницу, которую нужно проверить и отправить на переиндексацию.

3. Нажимайте на кнопку «Запросить индексирование». 

Данный инструмент также подходит для проверки индексации страниц своего сайта. 

1. В Яндекс.Вебмастере перейдите в раздел Индексация -> Переобзод страниц

2. Добавите страницу, которую нужно проиндексировать.

3. Нажмите кнопку «Отправить».

Дневной лимит — 210 страниц (вкючая поддомены и поддомены).

Через файл robots.txt можно запретить индексацию страниц или всего сайта для конкретного поисковика или для всех сразу, используя директиву Disallow:

Если хотите закрыть конкретные разделы, укажите их:

Disallow: /news

Иногда Google игнорирует такой запрет, проверьте это через кабинет вебмастера. Если страницы все еще индексируются, переходите к следующему способу.

С помощью метатега Robots можно не дать роботам просканировать контент и закрыть текст от индексации. Для этого нужно в раздел <head> страницы добавить строку:

<noindex>[текст]</noindex>

Закрыть всю страницу от индексации можно, добавив строку

<meta name="robots" content="none"/>

Перед закрытием сайта от индексации желательно проверить методы в панелях вебмастеров. 

Если вы понимаете принцип индексации и для чего она нужна, вы легко сможете правильно настроить сайт для поисковиков. Корректно настройте в robots.txt и карту сайта, избавьтесь от технических ошибок и позаботьтесь о качественном контенте, чтобы поисковики высоко ценили ваш сайт.

Остались вопросы? Задавайте их в комментариях😀

Как проиндексировать домен в Яндекс и Google? — Solomoto

Как проиндексировать домен в Яндекс и Google?

Прежде чем сайт появится в результатах поиска, он должен быть проиндексирован поисковой системой. Индексация означает, что поисковый робот посетил ваш сайт, проанализировал его и занес информацию в базу данных поисковой системы. 

Если страница занесена в индекс поисковика, она может быть показана в результатах поиска. Если страница в индексе отсутствует, то поисковая система ничего не знает о ней, и, следовательно, никак не может использовать информацию с этой страницы. 

Как проиндексировать сайт в Яндекс?

Для этого вам необходимо иметь аккаунт в Яндекс. Без него пользование вебмастером невозможно. 
Если у вас уже есть аккаунт, зайдите в вебмастер на страницу индексации и добавьте ваш домен по ссылке — https://webmaster.yandex.ru/sites/add/

Затем право на обладание доменом нужно будет подтвердить. Вам представятся 3 разных способа подтверждения на выбор. Мы рекомендуем делать это через DNS-запись. Для этого скопируйте всю строку, начиная со слова «yandex» и заканчивая последней цифрой. 

Затем вам необходимо вернуться на платформу Solomoto, на ту страницу, где подключен ваш сайт. Выберите нужный домен и нажмите на “Настройки DNS”. 

Нажмите на кнопку “Добавить новую запись” и выберите тип записи – TXT. В поле Имя поставьте @, а в поле значение нужно вставить строку, которую вы скопировали в вебмастере Яндекс. 

Нажмите кнопку «Добавить запись». 

Внимание! Если вы покупали домен не через платформу Solomoto, все эти действия необходимо произвести в вашем регистраторе доменов, через который осуществлялась покупка.
Новые записи в DNS-домена вносятся сервисом не мгновенно, на это обычно уходит от 15 мин до 1 часа. Через какое-то время необходимо вернуться в вебмастер и нажать на кнопку “Проверить”. Если  Яндекс пишет, что сайт добавлен, значит, ресурс поставили в очередь на индексацию.

Как проиндексировать сайт в Google? 

Процесс добавления на индексацию сайта в Google практически такой же как и в Яндекс.

Чтобы проиндексировать сайт, необходимо войти в свой аккаунт в Google (или зарегистрироваться, если у вас его нет). Затем пройдите по ссылке в Google Search Console: https://www.google.com/webmasters/tools/home?hl=ru
Затем, в правом верхнем углу нажмите кнопку “Добавить ресурс”. В появившемся поле укажите необходимый к индексации домен и нажмите на кнопку “Добавить”

Затем выберите альтернативный способ подтверждения владения доменом — ”Провайдер доменных имен”. При выборе регистратора доменного имени необходимо выбрать “Другое”.

Затем скопируйте запись-TXT для Google полностью, начиная с надписи google, и заканчивая последним знаком буквенно-числового кода.
Теперь вам необходимо вернуться на платформу Solomoto, на ту страницу, где подключен ваш сайт. Выберите нужный домен и нажмите на “Настройки DNS”. 

Нажмите на кнопку “Добавить новую запись” и выберите тип записи – TXT. В поле Имя поставьте @, а в поле значение нужно вставить строку, которую вы скопировали в вебмастере Google. 

Нажмите кнопку «Добавить запись». 
Затем эти действия необходимо подтвердить, вернувшись в Google Search Console.

Как только вы увидите надпись «Подтверждено», это будет означать, что ваш домен уже стоит в списке на индексацию сайта в Google.

Внимание! Если вы покупали домен не через платформу Solomoto, все эти действия необходимо произвести в вашем регистраторе доменов, через который осуществлялась покупка. 
Новые записи в DNS-домена вносятся сервисом не мгновенно, на это обычно уходит от 15 мин до 1 часа. 

Время, необходимое для индексации сайта, составляет от 2-3 дней до 2 месяцев, в зависимости от поисковой системы.

Не нашли ответ? Спросите наших специалистов!

• Юлия Таль

• Павел Сметанников

• Яна Даулятова

Свяжитесь с нами

Индексация страниц сайта в Яндексе и Google — Примеры

Пока поисковая система не проиндексирует страницу сайта [что такое индексация], та не будет участвовать в её результатах выдачи. Узнать о сайте поисковик может двумя способами:

1. от вебмастера. Для чего URL-адрес веб-документа [что такое URL] нужно добавить в аддурилку Яндекса или Google (от английского add url).
2. перейдя на страницы сайта по ссылке с других проиндексированных веб-документов.

На данном блоге я столкнулась с такой ситуацией, что без проблем Яндекс проиндексировал только Главную страницу, а вот внутренние не участвовали в поиске. У Google похожего невнимания не наблюдалось. Там практически молниеносно можно было заметить свою статью в выдаче.

Почему не индексируется сайт в Яндексе

1. Google заносит в свою базу данных все страницы сайта: качественные и некачественные без разбора. Но участвуют в ранжировании [что такое ранжирование] только полезные веб-документы [не путать оригинальное содержание с уникальным]. Яндекс же сразу не включает веб-хлам. Можно заставить его проиндексировать любую страницу, но со временем поисковик удалит мусор. У обоих систем есть дополнительный индекс. У обоих систем низкокачественные страницы влияют на рейтинг сайта в целом. По последнему пункту есть как официальное заявление [см. блог Google], так и простая логика. Любимые сайты конкретного человека будут на более высоких позициях в его выдаче. Зато этот же человек с трудом найдёт сайт, который не смог его заинтересовать в прошлый раз. Поэтому вначале нужно закрыть от индексации дубликаты веб-документов [как это сделать], проверить есть ли страницы с отсутствующем содержанием и не пускать в выдачу никудышный контент.
2. «Проверить URL» в Вебмастере.Яндекса напомнит, что документ закрыт для индексации или что сервер выдаёт 301 редирект или 404 ошибку.
3. Если был приобретён поддержанный домен, на который наложены санкции, то нужно написать в службу поддержки что-то типа

   Здравствуйте.
   
   01.01.2000 года был приобретён домен сайт.ru.
   20.01.2000 года сайт был добавлен в Вебмастер и аддурилку. По прошествии трёх недель он не был проиндексирован.
   
   Подскажите, пожалуйста, может ли домен быть причиной плохой индексации?

Как ускорить индексацию в Яндексе

1. Подтвердить права на управление сайтом в Яндекс. Вебмастере.
2. Опубликовать ссылку на статью в twitter. С 2012 года у Яндекса с ним подписан договор.
3. Установить на компьютер Яндекс.Браузер и «походить» по страницам сайта с его помощью.
4. Добавить поиск для сайта от Yandex. Там в графе «Индексирование» можно указать свои URL-адреса вручную точно также как в аддурилке. [не актуально]
5. Установить код Яндекс.Метрики без указания галочки «Запрет отправки страниц на индексацию».
6. Создать файл Sitemap. Тогда по приходу на сайт робот в первую очередь будет проверять его. Этот файл существует только для него и не виден аудитории. Состоит он из списка URL-адресов страниц. Только что созданные или с обновлённым содержимым находятся сверху. Адрес Sitemap прописывается в robots.txt или в соответствующую форму в Вебмастере-«Настройка индексирования»-«Файлы Sitemap».

Дополнительные действия, когда Яндекс проиндексировал только 1 страницу

1. Насколько часто обновляется страница, настолько часто поисковый робот будет её переиндексировать. В основном содержание периодически меняется на странице «карта сайта» и Главная. Чем чаще публиковать новые статьи, тем чаще будут обновляться вышеназванные страницы и по ссылкам внутри них индексироваться новый материал.
2. Если на всех страницах сделать сквозной блок с последними написанными публикациями, то поисковый робот может перейти на новую запись с любой посещённой им страницы сайта. А это будет быстрее. Ссылки в сквозном блоке не должны быть реализованы скриптом, по ним не нужно запрещать переход с помощью rel=»nofollow».
3. Сайты, имеющие RSS ленту, могут зарегистрироваться в каталоге Яндекс.блоги, а уже оттуда данные будут переданы основному роботу.
4. Оставить ссылки на свои статьи на часто обновляемых ресурсах: «Живой Журнал», ВКонтакте», «Facebook» и др.

Обновление базы данных — апдейт (ап) выдачи — происходит в среднем раз в неделю. Если все вышеуказанные действия не помогли, чего у меня ни разу не было, то следует написать в службу поддержки письмо, где рассказать что было сделано, немного о сайте, о том, что он регулярно наполняется, что людям он интересен, дать пару ссылок на самые лучшие статьи в качестве примера. Если ресурс имеет низкую посещаемость по причине узкотематичности, нужно проговорить это. Например, сказать, что проект не планирует большую посещаемость, так как создан для общества лепидоптерологов, которые изучают бабочек семейства чешуекрылых. Если сайт коммерческий, то сообщите, что за ним стоит реальная организация.

Что нужно сделать пока веб-страница не проиндексирована Яндексом

1. Чтобы отечественный поисковик считал сайт первоисточником, ещё до публикации статьи нужно обязательно её содержание добавить в форму «Оригинальных текстов». Иначе плагиаторы могут скопировать запись к себе на ресурс и именно они, если первыми попадут в базу данных, будут признаны авторами.

Индексация Google

Вот и всё, что нужно сделать для быстрой индексации Яндексом. Для Google подойдут те же рекомендации, только сервисы будут другими:

1. Google Инструменты для веб-мастеров — «Сканирование» — «Посмотреть как Googlebot» — кнопка «Сканировать» — кнопка «Добавить в индекс»
2. Google+ (вместо twitter)
3. Google Chrome
4. Поиск внутри сайта от Гугла
5. Google Analytics (вместо Яндекс. Метрики)

Полезные ссылки

1. Основные принципы индексирования

Почему сайт не в поиске: причины и способы проверки

Проверка индексации сайта через Яндекс Вебмастер и Google Search Console

Для того, чтобы проверить качество индексации страниц сайта, достаточно воспользоваться сервисами от двух поисковиков: Яндекс Вебмастер и Google Search Console. Каждая из этих панелей показывает количество находящихся в индексе страниц для своего поисковика (Яндекс и Google, соответственно).

Google Search Console

Зайдя в этот инструмент, на главной странице находим блок «Покрытие». В нем показывается график с количеством страниц сайта в индексе Гугла (зеленый график), и количество страниц, которые содержат ошибки (красный график). В таком виде удобно смотреть как добавлялись/удалялись страницы из индекса в определенный отрезок времени.

Из блока «Покрытие» есть возможность перехода в полный отчет. На отдельной странице будет показан график, количество ошибок, загруженных страниц без ошибок и исключенные страницы. Кликая по каждому из показателей, получаем графические данные по нему, а также списки самих URL-адресов.

Заходим в блок «Покрытие»

Просматриваем нужный отчет

Яндекс Вебмастер

Аналогичные возможность есть у Яндекс Вебмастера. Чтобы посмотреть проиндексированные страницы Яндексом, заходим в пункт «Индексирование – Страницы в поиске». Пролистав ниже, находим все страницы сайта, которые на текущий момент находятся в индексе.

Выбираем раздел «Индексирование – Страницы в поиске»

Список проиндексированных страниц

Инструмент позволяет просматривать исторические данные о том, как менялось количество проиндексированных страниц. Для этого вверху графика нажимаем «История», а внизу слева выставляем необходимый временной диапазон.

Анализируем историю индексации

Как видно из примера, сайт выпадал из индекса полностью, но через какое-то время вернулся вновь.

Почему сайт может выпасть из индекса? Причины и их решения

Причин, по которым сайта нет в поиске, может быть множество, рассмотрим основные.

Новый сайт или страница

Процесс индексации представляет собой сканирование поисковым краулером документов сайта. После чего данные обрабатываются, а уже после появляются (или не появляются) в поисковой выдаче. Обновление поисковой базы называется Update, и у каждого поисковика он происходит с разной скоростью. Поэтому если страницы недавно созданного сайта не отображаются в поиске, то чаще всего они еще просто не были проиндексированы.

Отсутствие запрета на индексацию сайта

Закрыть от индексации можно весь сайт, либо отдельные его документы. Поэтому вторым шагом по поиску причины отсутствия сайта в индексе, будет проверка файла robots.txt, находящегося в корне файловой системы.

Данный файл открывается с помощью любого текстового редактора, в нем должны отсутствовать следующие строки:

Блок на весь сайт
User -agent: *
Disallow: /
Или для отдельных страниц:
User-agent: *
Disallow: /page.html

Страницы могут быть закрыты от индексации посредством метатегов. Если известно, каких именно нет страниц в индексе, проверьте их вручную (либо с помощью автоматизированных инструментов, например, Screaming Frog SEO Spider) на наличие следующего метатега (он доступен только для Яндекса, Google его игнорирует):

<meta name="robots" content="noindex" />

Кроме этого, любой документ можно проверить на доступность поисковыми роботами в инструменте Яндекс Вебмастера: Индексирование – Анализ robots.txt. Вставляем в блоке «Разрешены ли URL?» адрес страницы и смотрим результат.

Проверяем отдельные URL на индексацию

Дублированный контент

Поисковые системы заинтересованы в том, чтобы их выдача была как можно более качественной, максимально отвечающей запросам пользователей. Нет смысла добавлять в поиск страницы, если их дубли уже есть в интернете.

Поэтому перед публикацией контента, особенно текстового, обязательно проверяйте его на уникальность, это можно сделать в следующих сервисах:

• Text. Googlebot» search_bot

  Запрет в самой CMS

  Это больше всего касается сайтов созданных на платформе WordPress, дело в том, что в админке этого движка есть настройка запрета индексации сайта, и даже если в Robots.txt индексация открыта, то сайт индексироваться не будет. Важно проверить что галочка в данном разделе снята и индексация разрешена.

  
  WordPress — проверка запрета индексации

  Отсутствие четкой структуры сайта

  Весь контент на сайте должен находиться в структурированном виде, на различных уровнях вложенности (Главная – Категория – Подкатегория – и т.д.). Причем не рекомендуется создавать уровни вложенности более 5. Если эти два правила не соблюдаются, то процесс индексации может затянуться по времени, особенно, если страниц на сайте много.

  Страница или сайт недоступны

  Сайт и его страницы должны быть доступны как посетителям, так и поисковым краулерам, и отдавать код 200. По разным причинам, этот код может отличаться:

  • 4xx – документ недоступен по текущему адресу. Не рекомендуется удалять страницы, находящиеся в индексе поисковика, т.к. это может негативно сказать на ранжировании сайта. Лучше сделать 301-редирект (перенаправление) с удаленной страницы на другую релевантную.
  • 5xx – сервер не в состоянии выполнить запрос.

  Чтобы проверить код ответа сервера, заходим в одноименный инструмент в Яндекс Вебмастере.

  
  Инструмент для просмотра кода ответов сервера

  
  Пример отчета

  На сайт наложены фильтры

  Если сайт или его страницы резко выпали из индекса, скорее всего, был наложен фильтр со стороны поисковой системы. Проверить на наличие некоторых фильтров можно в панелях вебмастеров.

  В Google Search Console заходим в пункт «Меры, принятые вручную». Если на сайт применена какая-либо санкция со стороны сотрудников Google, то эта информация будет доступна здесь.

  
  Google Search Console

  Автоматически наложенные санкции не отображаются в панели, но их можно обнаружить по косвенным признакам.

  Проблемы с Яндексом также частично отображаются в Вебмастере на странице «Сводка».

  
  Проблемы сайта в Яндекс.Вебмастере

  Вот список некоторых действий, которые могут привести к санкциям со стороны поисковиков:

  • Неадекватное наращивание внешней ссылочной массы. Поисковики не любят манипулирование факторами ранжирования, поэтому при обнаружении накладывают фильтры, понижая сайт в результатах выдачи, либо вовсе удаляют его (или отдельно взятые страницы) из индекса. Фильтры: Минусинск и Пингвин.
  • Низкокачественный или неуникальный контент. Фильтры: АГС, Panda, Баден-Баден.
  • Переоптимизация контента. Недопустимо превышать порог 3-5% плотности ключевых слов, а также использовать вхождения в неестественном виде (например, «купить квартира Москва»).
  • Накрутка поведенческих факторов, например, фейковые посещения сайта.

  Сайт заблокирован государственными органами

  В РФ действует закон, запрещающий распространение определенного типа контента в интернете. За это (кроме уголовного преследования), возможна блокировка сайта по решению ряда государственных органов: Роскомнадзора, Ген. Прокуратуры, МВД, Роспотребнадзора и т.д.

  Эта причина блокировки одна из самых явных, т.к. при посещении сайта пользователь получает всю информацию со ссылками на федеральный закон.

  
  Блокировка сайта

  Небольшой список материалов, которые подлежат такой блокировке:

  • Информация о способах изготовления и т.д. наркотических веществ.
  • Антиправительственная информация, по типу организации митингов, призывы к массовым беспорядкам и т.д.
  • Описание способов совершения самоубийств.
  • И прочее.

  Дублированный контент внутри сайта

  Если на сайте появляются страницы-дубли, то часть из них выпадет из индекса. Причем может случиться так, что выпадет именно целевая страница.

  Дубли чаще всего появляются в силу специфики работы CMS, когда одна и та же страница доступна по разным адресам, но для поисковика это разные документы. Чтобы этого избежать, рекомендуется изучить подобные нюансы используемой CMS и настроить ее таким образом, чтобы дубли не появлялись (например, установив плагин), либо с них было перенаправление (301-редирект) на основную страницу.

  В рамках данной статьи мы рассмотрели основные причины, по которым сайт может выпасть из поиска. Определив и решив их, после одного или нескольких Update поисковой базы, страницы сайта вернутся в органическую выдачу. 

  Почему сайт не отображается в выдаче поиска Яндекса и гугла

  Часто люди не понимают, почему к ним не поступает трафик. Одной из причин может являться плохая индексация. Основным же признаком этого, является отсутствие в результатах выдачи. В этой статье мы разберем основные причины, почему так может происходить.

  1. Блокировка в robots.txt

  Нередко, особенно при создании сайта, разработчики отключают его от индексирования в файле robots.txt, чтобы поисковые системы не успели проиндексировать неготовый сайт с его возможными ошибками. А после создания, иногда, они просто забывают его открыть.

  Так же, просто плохо настроенный robots, может не давать индексировать. При проблеме с индексацией – в первую очередь смотрим этот файл. Сделать это мы можем, дописав к своему сайту /robots.txt.

  Заблокированный сайт, чаще всего выглядит так:

  Необходимо удалить вторую строчку, которая как раз означает запрет.

  Если же вы хотите узнать больше– можете прочитать нашу другую статью

  2. В CMS включен режим невидимки.

  Этот режим нужен для того-же, для чего закрывают в robots – отключить индексацию на время разработки. Только это делается в самой CMS.

  Например, в Joomla можно закрыть в общих настройках:

  Для индексации должно стоять Index, Follow.

  Там же есть возможность полностью отключить веб-сайт. Проверьте чтобы он был включен для пользователей.

  3. В .htaccess установлен редирект или доступ закрыт специально

  Далее нужно проверить файл .htaccess, который обычно находится в главном каталоге. Googlebot» search_bot — за место Гугла может быть любой другой бот. Правило в целом присваивает боту Гугла значение “search_bot”, которое в дальнейшем блокируется другим правилом:

  Следовательно, чтобы разрешить роботам индексировать – эти строки надо удалить.

  Так же может быть прописан 301 редирект или прописаны 403 или 410 ответы сервера. В этих случаях индексации не будет.

  Нужно сказать, что такое встречается крайне редко, поэтому это можно проверять в случае, если вы подозреваете, что кто-то мог вам специально закрыть веб-сайт, имея к нему доступ.

  4. Мета тег robots в коде.

  Индексацию можно закрыть, вписав на страницу < meta name=”robots” content=”no index, nofollow” >

  При подозрении, что какая-либо страница не индексируется поисковыми системами – проверьте, есть ли на ней этот мета-тег и удалите его, если есть. Данный тег обычно ставят на каких-то технических страницах, который по каким-то причинам не был заблокирован в robots.txt. Обычно он ставиться в CMS, которая не предусматривает правки файла robots. txt.

  5. Отсутствующий или не обновленный sitemap.xml

  Ускорить индексирование, может помочь корректный и своевременно обновляемый sitemap.xml. Обычно он автоматически генерируется CMS системой. Посмотреть его вы можете дописав /sitemap.xml к адресу веб-сайта. Например, https://mintclickseo.ru/sitemap.xml

  Если такого функционала нет – можете формировать этот файл вручную или же используя сторонние сервисы для автогенерации.

  Он специально предназначен для более быстрого индексирования. Больше информации вы можете получить в статье

  6. Сайт отсутствует в Яндекс Вебмастере и Google Search Console

  После создания сайта, старайтесь сразу добавить его в эти два сервиса, это даст прямое указание поисковым системам, на то, что веб-сайт создан и готов к индексации.

  После некоторого времени, данные сервисы начнут индексацию, а также укажут на имеющиеся проблемы.

  Тут же в вебмастере, в разделе индексирование, можно найти все ваши страницы, которые участвуют в поиске. Это довольно удобно т.к. вы знаете какой контент “одобрен” Яндексом, а где, возможно, стоит поработать.

  Вы можете следить за общей информацией о всех страницах и их кодах ответа, или же вы можете узнать статус отдельно взятой страницы, указав ее ссылку в разделе проверки статуса URL.

  7. Технические проблемы

  Не секрет, что поисковики не любят веб-сайты, на которых куча проблем, таких как битые ссылки, дубликаты текстов, мета тегов. Так же некорректные редиректы, низкую скорость загрузки, долгий ответ сервера итд

  Поэтому если ваш веб-сайт не индексируется – проверьте, возможно поисковики не хотят индексировать из-за большого количества ошибок.

  Эти ошибки можно найти используя специальный софт. Далее их необходимо исправить. Это очень важно т.к. исправив ошибки, можно хорошо продвинуть веб-сайт среди конкурентов.

  Также нужно уделять большое внимание мобильной версии т.к. люди все чаще используют именно смартфоны, для поиска чего-либо. Поэтому внимательно следите, чтобы ваша версия была без ошибок, загружалась быстро и была удобной пользователю. И тогда поисковики это оценят и поднимут ваш веб-сайт в выдаче.

  8. Индексируемость приостановлена самим поисковиком

  Такая проблема может возникнуть в основном, если вы уже пытались продвигаться не совсем честным способом. Тогда могут быть наложены санкции, или по-другому — сайт попадет под фильтр. Как итог – он может перестать быть видимым.

  Обычно в Вебмастере Яндекса будет написана причина “бана” и вы сможете исправить все нарушения и тогда через некоторый промежуток времени Яндекс рассмотрит, как вы все исправили и если все хорошо – вернет веб-сайт в поиск.

  В Гугле, к сожалению, такой возможности нет и вам самим придется все выяснять.

  Чаще всего причинами бывают всевозможные накрутки поведенческих, вредоносный код, нерелевантный или скопированный контент, SEO ссылки, заспамленность ключевыми словами или фразами и т.п.

  Делайте качественный контент и не прибегайте к черным методам продвижения, и вы избежите данных неприятностей.

  Как проиндексировать блог с Яндекс вебмастером | Полное руководство для начинающих

  Яндекс — крупнейшая поисковая система в России. Конечно, вам, как владельцу сайта, нужно больше просмотров и посещений из разных стран. Если вы ищете аудиторию для своего блога из России, вам необходимо проиндексировать свой блог с помощью веб-мастера Яндекса. Здесь я пишу о том, как проиндексировать ваш блог с помощью веб-мастера Яндекса | полное руководство для начинающих.

  Во-первых, вы можете спросить, а какова совместимость сайта Яндекс вебмастера? Сайт Яндекс вебмастера совместим как для мобильных, так и для настольных пользователей.Единственное отличие состоит в том, что на рабочем столе вы должны щелкнуть вкладку (три строки) в верхней части экрана, чтобы открыть список параметров. На рабочем столе вам не нужно щелкать какую-либо вкладку для отображения параметров.

  Как проиндексировать блог с Яндекс вебмастером

  Чтобы проиндексировать свой сайт на Яндексе веб-мастером, нужно выполнить два шага: добавление вашего URL-адреса и подтверждение ваших прав . Подтверждение прав означает, что вам необходимо доказать, что вы являетесь владельцем сайта / блога.

  Чтобы проиндексировать ваш сайт на Яндексе,

  • Посетите webmaster.yandex.com и нажмите « Login ».
  • Если у вас нет учетной записи с ними, вы можете создать новую учетную запись, выбрав « Create ID ».
  • Вы также можете войти в систему с помощью QR-кода, Facebook, WhatsApp или Twitter.
  • После входа в систему найдите и коснитесь знака «плюс» в верхней части сайта.
  • На следующей странице введите свой URL и нажмите « Добавить ».

  Теперь нужно подтвердить свои права у вебмастера Яндекса . Для этого

  • Зайдите в «Настройки» и нажмите « Яндекс.Метрика теги ».
  • На следующей странице нажмите « Create a ta g».
  • Заполните данные, включая адрес вашего веб-сайта и имя тега.
  • Затем прокрутите вниз и нажмите « Create tag ».
  • Скопируйте метатег и вставьте его в раздел «заголовок» своего сайта.

  Как вставить код метатега Яндекс вебмастера на сайт WordPress

  Чтобы добавить метатег Яндекс вебмастера на сайт WordPress,

  • На панели инструментов WordPress перейдите в раздел «Плагины», затем нажмите «Добавить».
  • Введите ключевое слово « Yoast SEO ».
  • Когда появится подключаемый модуль, нажмите « Установить сейчас ». Также нажмите « Активировать ».
  • По-прежнему на панели управления WordPress нажмите « SEO ».
  • Нажмите « General » и выберите « Webmaster Tools ».
  • Введите метатег в поле «Яндекс» и нажмите « Сохранить изменения ».
  • Наконец, вернитесь к веб-мастеру Яндекса и нажмите « Check », чтобы успешно подтвердить свои права.
  Добавление плагина Yoast SEO Использование плагина Yoast SEO для вставки кода метатега Яндекса для индексирования Успешно добавлен код метатега Яндекса

  Как добавить карту сайта в инструменты Яндекса для веб-мастеров

  Sitemap помогает роботам поисковых систем легко находить и индексировать содержание вашего сайта. Добавить карту сайта в Яндекс вебмастер,

  • Зайдите на webmaster.yandex.com и авторизуйтесь.
  • Перейдите в раздел «Индексирование» и нажмите « файлов Sitemap ».
  • Введите карту сайта и нажмите « Добавить ».
  • Вы успешно отправили карту сайта.

  Как проверить доступные для поиска страницы после размещения вашего сайта в поисковой системе для веб-мастеров Яндекса.

  Чтобы проверить доступные для поиска страницы на Яндексе веб-мастеру, войдите в систему и нажмите « Indexing ». Затем прокрутите вниз и выберите « страниц с возможностью поиска ». Там вы увидите список индексных страниц.

  Примечание : Индексирование новых веб-сайтов на Яндекс веб-мастере занимает около двух недель и более.Так что наберитесь терпения. Для существующих веб-сайтов это займет всего несколько дней.

  Причины, по которым вам нужно проиндексировать свой сайт с помощью веб-мастера Яндекса.

  • Оптимизация вашего сайта под SEO (поисковая оптимизация).
  • Российская аудитория всегда будет посещать ваш сайт.
  • Вы можете проверить статистику своих сайтов.
  • Проверить информацию на сайте, которая состоит из региона, продуктов, цен и т. Д.
  • Кроме того, вы можете проверить качество сайта и отзывы.
  • Наличие скорости сканирования.

  Последнее изменение: 16 августа 2021 г., ОКВИКС

  Окоронкво Винсент. Основатель OKVIX.COM. Блогер, создатель контента и SEO-эксперт. Он любит делиться важными статьями, чтобы держать пользователей в курсе.

  Как удалить контент из индекса Яндекса

  Владельцы сайтов обычно тратят много времени на создание и размещение нового контента на сайте или улучшение уже опубликованного контента для повышения эффективности в обычном поиске. Поэтому досадно удалять из поискового индекса страницы, на которые уходит много времени и усилий, но иногда это стоит сделать и необходимо из-за товарного ассортимента, юридических причин или изменений в направлении бизнеса или обмене сообщениями.

  Удаление контента — это не всегда история безвозвратного удаления страницы. Есть несколько уровней: вы можете только удалить его из индекса, оставив на сайте, тогда пользователи не найдут его в результатах поиска, но смогут перейти на него, перейдя по ссылкам с других страниц или из закладок. Или вы можете удалить его с сайта — навсегда или временно, отправив в архив.

  Вот некоторые из наиболее распространенных методов удаления устаревшего содержимого:

  Тег Noindex

  Нельзя удалить страницу с сайта, но дать роботу сигнал не индексировать ее с помощью тега noindex.Если он уже есть в индексе, следующие роботы сканирования должны увидеть этот тег и удалить его из индекса.

  meta name = "robots" content = "noindex"

  Тег noindex можно настроить с помощью плагинов SEO для CMS, в них эта функция часто встречается.

  Пользователи по-прежнему смогут посещать страницу, если на ней есть внутренние ссылки на сайте или если они уже заходили на нее раньше и добавили адрес в закладки.

  Удаление страницы из индекса с помощью noindex не будет необратимым.Если вы хотите вернуть страницу, удалите тег, и при следующем сканировании поисковый бот его увидит.

  Обратите внимание, что если вы удалили из индекса страницу с хорошими позициями, не факт, что при удалении noindex она вернется к той же поисковой выдаче.

  Инструмент для удаления URL в Яндекс.Вебмастере

  Вы можете ускорить процесс удаления с Яндекс. Во-первых, вам нужно отключить их индексацию: регистрация запрещает в файле robots.txt и указывает метатег робота с директивой noindex на странице.Это необходимо. На следующем шаге робот увидит эти сигналы.

  Инструмент удаления контента в Yandex Webmaster Tools

  Чтобы ускорить процесс, у веб-мастера есть инструмент «Удалить URL». Чтобы удалить отдельные страницы, выберите По URL и введите адрес. Вы можете удалять до 500 адресов одного сайта в день.

  За пределами Google: вселенная поиска

  Когда мы говорим о поиске, мы часто говорим о Google: на Google и свойства Google приходится львиная доля видимости при поиске.Есть причина, по которой мы говорим, что собираемся что-то «погуглить». Но Google — не единственная поисковая система, и, в зависимости от вашей аудитории, вы можете получить большую популярность, адаптируя свой SEO для остальной части поисковой вселенной.

  Поисковые системы, поисковые системы повсюду

  Несмотря на мировое господство Google, существуют районы, в которых другие поисковые системы имеют прочную — и постоянно растущую — точку опоры. Фактически, Википедия перечисляет около 20 или около того текущих общих поисковых систем, а также намного больше тематических поисковых систем..

  Крупнейшими конкурентами Google являются Bing (и Yahoo!), Яндекс, Baidu и небольшая, но растущая компания DuckDuckGo:

  Bing и Yahoo!

  В 2009 году Bing и Yahoo! Подписали десятилетнее соглашение о совместном использовании поисковых технологий, что означает, что их ранжирование, индексы и использование поиска одинаковы и могут быть объединены в единую поисковую систему с двумя лицами. Мы будем рассматривать их как единое целое до конца этой статьи.
  Bing особенно интересен для SEO и маркетологов, но только потому, что ему принадлежит более трети доли рынка США, а также потому, что есть некоторые свидетельства того, что трафик Bing конвертируется лучше, чем трафик Google.

  Оптимизация для Bing

  Bing использует многие из тех же технологий и работает со многими из тех же сигналов ранжирования, что и Google. Однако есть отличия.

  Некоторые сигналов ранжирования имеют большее значение в Bing, чем в Google:

  • Возраст домена и расширение
  • Социальные сигналы

  Социальные сети играют важную роль в сегодняшних усилиях по повышению рейтинга в результатах поиска. Наиболее очевидная роль, которую он играет, — это влияние. Если вы являетесь влиятельным лицом в социальных сетях, ваши подписчики, как правило, широко делятся вашей информацией, что, в свою очередь, приводит к тому, что Bing видит эти положительные сигналы.Эти положительные сигналы могут повлиять на то, как ваш сайт будет занимать в долгосрочной перспективе органический рейтинг.

  SEO на странице для Bing также немного отличается от Google. Bing объясняет:

  • Ожидается только один

    на странице.

  • Внутренние ссылки используются для определения того, как контент связан.
  • Ключевое слово / фразу, на которую вы нацеливаете, следует несколько раз использовать в содержании вместе с вариантами ключевого слова или фразы.
  • Свежий контент, как в Google, — это преимущество.

  Как и Google, Bing оценивает удобство использования для мобильных устройств . При определении удобства использования для мобильных устройств учитываются следующие особенности:

  • Конфигурация окна просмотра
  • Конфигурация масштабирования
  • Ширина содержимого
  • Читаемость текста
  • Расстояние между ссылками и другим содержимым
  • Важные ресурсы, заблокированные для Bingbot

  Вы можете таргетинг на локальных поисков путем геотаргетинга всего или части вашего сайта в Инструментах для веб-мастеров.Геотаргетинг в Bing явно указывается веб-мастером и может применяться к странице, каталогу, субдомену или ко всему домену.

  Наконец, Bing также использует сущности для лучшего понимания контента и поддерживает множество сущностей с помощью разметки Schema.org :

  Возможность сканирования для Bing

  Как и Google, индекс Bing создается и обновляется в основном путем сканирования паутина. Это означает, что для правильного ранжирования в Bing веб-сайты должны быть доступны для сканирования.

  Согласно документации Bing, следующие элементы облегчают сканирование:

  Как и Google, вы также можете отправлять URL-адреса для индексации. Bing будет сканировать URL-адреса, которые он находит в картах сайта, но вы также можете массово отправлять URL-адреса через их инструмент индексирования и отправлять их непосредственно в индекс через их API.

  Инструменты и технологии Bing

  Инструменты

  Технологии

  Яндекс

  Яндекс является российским эквивалентом Google.В дополнение к своей поисковой системе, у него есть много других веб-ресурсов, аналогичных Google: электронная почта, фотографии, продукты … Яндекс может претендовать на более 50% доли поискового рынка в России, и он хорошо известен и используется во многих соседних странах. .

  [Электронная книга] Техническое SEO для нетехнических мыслителей

  Техническое SEO — одно из растущих направлений SEO сегодня. Он включает поиск решений для SEO, основанных на том, как и почему работают поисковые системы и веб-сайты. Эта электронная книга — все, чем вы всегда хотели поделиться со своими клиентами, друзьями и коллегами по маркетингу.

  Рейтинг в Яндексе

  Важно понимать, что Яндекс, как русскоязычная поисковая система, отдает приоритет географии России в локальном поиске и использует отдельные алгоритмы ранжирования для доменов .ru по сравнению с остальными доменами. Интернет.

  По сравнению с Google процесс индексации сильно отличается:

  • Более медленный процесс индексации
  • Страницы размером более 10 МБ не индексируются
  • URL-адреса длиной более 1024 символов не индексируются
  • Языковая фильтрация:
    • «Автоматическая» индексация для сайтов, содержащих страницы на русском, украинском и белорусском языках
    • Оценка содержания для сайтов на английском, немецком и французском языках
    • Другие языки не поддерживаются

  Наконец, не все проиндексированные страницы могут отображаться в поиске.Фактически, коды статуса 3xx, 4xx и 5xx или перенаправления, нацеленные только на роботов, могут исключить страницу из результатов поиска, даже если она проиндексирована.

  Чтобы узнать, какие из ваших страниц доступны, вы можете обратиться к разделу «Страницы в поиске» в инструментах для веб-мастеров.

  Наиболее важными для Яндекса сигналами ранжирования являются следующие:

  • Поведение пользователя: «поведение пользователя является ОГРОМНЫМ фактором ранжирования и играет гораздо большую роль, чем другие сигналы, такие как построение ссылок».
  • Техническая оптимизация
  • Полнота и уникальность контента (обратите внимание, что фильтр дублированного контента Яндекс более строгий, чем у Google.)
  • Локализация (регион)
  • Факторы коммерческого ранжирования, такие как подробная информация о компании, ценах, условиях обслуживания или отзывы
  • Возраст домена и актуальность контента
  • Использование ключевых слов, включая мета-теги ключевых слов и наличие ключевого слова в URL. Однако обновление алгоритма Палеха для длиннохвостых запросов также ввело нейронную сеть в анализ запросов Яндекса.

  Если это начинает выглядеть так, как будто крупные, хорошо зарекомендовавшие себя сайты электронной коммерции имеют преимущество, значит, вы не далеки от цели.

  Сканируемость для Яндекса

  Хотя для индексации и ранжирования на Яндексе веб-сайт необходимо сканировать, ключевые слова играют более важную роль, чем внутренние ссылки. Следовательно, внутренняя структура сайта менее важна, чем для Google.

  Веб-мастерам рекомендуется:

  • Отправлять карты сайта
  • Использовать статический контент, поскольку сканер Яндекса не поддерживает Javascript

  Бот Яндекса проверяет следующие элементы HTML:

  • Мета-ключевые слова: используются для определения релевантности страницы
  • Мета-описание: используется как описание во фрагментах (также можно использовать текст страницы)
  • Мета-окно просмотра: указывает на совместимость с адаптивным дизайном
  • Мета-тип содержимого: используется для определения типа и содержимого URL-адреса
  • Мета-обновление: можно использовать для перенаправления страниц.Этот метатег будет перенаправлять посетителя через N секунд.
  • Мета-роботы
  • теги для определенного контента
  • Link rel = nofollow
  • Link rel = canonical. Это можно игнорировать, если канонический адрес недоступен, если канонический находится в другом домене или субдомене или если предоставлено несколько канонических URL-адресов.

  Оптимизация под Яндекс

  Есть несколько аспектов, в которых Яндекс существенно отличается от Google.

  Hreflang

  Hreflang следует использовать для Яндекса в следующих случаях:

  • Версии страниц «различаются только языком шаблона», хотя контент, такой как сообщения в блогах или комментарии на форуме, остается прежним.
  • Страница версии на одном языке, но ориентированы на разные страны или регионы
  • Страницы являются «полными и точными» переводами
  • Страницы, которые перенаправляют автоматически по местоположению или языку, должны использовать hreflang по умолчанию x

  Теги Hreflang работают только в или HTTP-ответ; карты сайта не поддерживаются.

  Thematic Index Citation (TIC)

  TIC Яндекса используется для прямого ранжирования сайтов; теперь он стал отражением качества, но не совсем коррелирует с рейтингом сайта. TIC — это оценка от 0 до 150 000, которая измеряет, насколько хорошо сайт ссылается на то, что повышает ценность для пользователя. Ценность определяется качественным содержанием и актуальностью тематики.

  Геотаргетинг

  Яндекс рекомендует веб-мастерам указывать регион, на который их веб-сайты нацелены, в инструментах для веб-мастеров.

  Геозависимые и геонезависимые запросы обрабатываются по-разному, и результаты в результатах поиска не смешиваются. Это означает, что если ваш бизнес может получать прибыль от локального поиска, требуется геотаргетинг.

  Для геотаргетинга страницы вам необходимо:

  • Опубликовать название, адрес, почтовый индекс, номер телефона и код города вашей компании на своем веб-сайте.
  • Публикуйте одинаковую информацию для всех региональных филиалов вашего бизнеса.
  • Сделайте каждую страницу вашего сайта доступной для робота Яндекса независимо от IP-адреса робота.

  Anti-linkspam

  Яндекс вложил значительные средства в борьбу со ссылочным спамом, который они определяют как использование ссылок, созданных для воздействия на поисковые алгоритмы, которые могут быть куплены или проданы в попытке искусственно повысить авторитет сайта без улучшения качества сайт.

  Алгоритм «Минусинск» обнаруживает ссылочный спам и может привести к серьезным штрафам.

  Мобильный поиск

  Мобильный поиск быстро растет в России.Критерии ранжирования Яндекса для мобильного поиска аналогичны критериям Google.

  Однако важно разместить мобильную версию сайта на отдельном поддомене или отдельном домене:

  Яндекс рассматривает основную версию и мобильную версию сайта как отдельные сайты и индексирует их отдельно друг от друга.
  Чтобы помочь роботу правильно идентифицировать мобильную версию, укажите URL-адреса мобильных страниц на соответствующих страницах основного сайта. Например, вы можете использовать элемент.
  […] Если мобильная версия сайта находится в основном каталоге сайта, робот-индексатор Яндекса не сможет ее правильно проиндексировать. Рекомендуем создавать мобильную версию в отдельном домене или в поддомене основного сайта.

  — Служба поддержки Яндекса

  Инструменты и технологии Яндекса

  Инструменты

  Технологии

  В Яндексе есть несколько операторов, которые можно использовать для создания более конкретных поисковых запросов:

  • Проверьте, что индексируется для site с помощью оператора запроса url.В поисковой строке Яндекса введите url: оператор запроса, адрес сайта и *. Например: url: www.example.com *.
  • Заголовок [ключевое слово] — поиск по заданному ключевому слову в теге заголовка, работает так же, как и оператор Google intitle :.
  • Inurl = «ключевое слово» — работает так же, как оператор Google inurl :.
  • Mime = ”html / pdf / doc / ppt / xls / rtf / swf” — поиск файлов определенных типов, например: seo << mime = ”ppt” вернет результаты, которые являются файлами PowerPoint, связанными с SEO.

  Baidu (百度)

  Baidu — основная поисковая система Китая. Коммунистический режим Китая означает, что это подразумевает несколько важных моментов: во-первых, Google недоступен в Китае. Во-вторых, Baidu ограничен веб-сайтами на китайском языке. Наконец, действует государственная цензура.

  Рейтинг в Baidu

  Как и другие поисковые системы, индекс Baidu создается путем сканирования паука Baidu. Вместо простого перехода по ссылкам, URL-адреса, полученные с помощью инструмента отправки ссылок Baidu, имеют приоритет для сканирования.

  Алгоритмы ранжирования Baidu не дискриминируют иностранные сайты. Однако они ранжируют только те сайты, которые могут соответствовать запросам на упрощенном китайском языке. Это означает, что содержание на китайском языке является обязательным.

  Упрощенный сценарий и грамматика китайского языка могут быть препятствием для регионов, в которых используется традиционный сценарий (Тайвань, Гонконг), а также регионов, в которых используются другие китайские языки с упрощенным сценарием, хотя Baidu по-прежнему используется веб-сайтами и пользователями как в случаи.

  Другие факторы ранжирования включают:

  • Свежесть
  • Плоская структура сайта (страницы, расположенные ближе к домашней странице, считаются более важными, а элементы, связанные с внутренними ссылками, такие как неработающие ссылки, перенаправления и анкорный текст, могут иметь прямое влияние на рейтинг.Например, страницы-сироты часто не индексируются.)
  • Мало поддоменов
  • Нет Javascript (не поддерживается Baidu spider)
  • Скорость страницы
  • Качество контента
  • Удобство для мобильных устройств
  • Точное совпадение ключевых слов в заголовке

  Наконец, как и в выдаче Google, продукты Baidu часто помещаются перед органическими результатами. Сюда входят объявления и страницы, принадлежащие Baidu.

  Оптимизация для Baidu

  Скорость страницы

  Алгоритмы Baidu придают огромное значение скорости страницы до такой степени, что веб-сайты должны размещаться в Китае, чтобы быть конкурентоспособными.Хостинг в Китае чрезвычайно сложен для иностранных веб-сайтов (вам нужна лицензия поставщика интернет-контента, которая, в свою очередь, требует китайской бизнес-лицензии…), поэтому большинство зарубежных веб-сайтов должны полагаться на CDN.

  Однако независимо от того, как вы размещаете свой веб-сайт, скорость загрузки страниц важна, и ограничения очевидны: первый экран страниц должен загружаться в течение 1,5 секунд.

  Качество контента

  До недавнего времени качество контента не имело особого значения; однако качество становится все более важным фактором.

  Заголовки страниц чрезвычайно важны. Заголовки должны быть четкими, краткими (нерелевантные слова могут привести к штрафам) и содержать ключевые слова страницы (но за набивку налагаются штрафы).

  Из-за местного, коммунистического контекста чрезвычайно важно проверять и подтверждать весь контент перед его публикацией.

  Внутреннее SEO

  Внутреннее SEO для Baidu рассматривает многие из тех же элементов, что и внутреннее SEO, для других поисковых систем, но уделяет приоритетное внимание другим аспектам.

  Инструкции Baidu для веб-мастеров включают следующие правила на странице:

  • Первый экран вашей страницы должен быть загружен в течение 1,5 секунд
  • Контент должен использовать размер шрифта не менее 10pt
  • Основной контент (основная часть (исключая панель навигации и любую рекламу) вашего веб-сайта должно занимать не менее 50% первого экрана.
  • Для результатов мобильного поиска целевая страница должна быть удобной для мобильных устройств.
  • Правила для мобильных устройств и пользовательского интерфейса должны соблюдаться.
  • Сайт должен использовать HTTPS.
  • . Страница должна включать следующие HTML-теги: