Индексировать сайт в гугле: Sorry, this page can’t be found.

Содержание

Как быстро проиндексировать страницы в Google через API — SEO на vc.ru

Здравствуйте, меня зовут Андрей и SEO специалист вебстудии Webimpulse. В этой статье попытаюсь рассказать, как бороться с плохой индексацией страниц в поиске Google.

{«id»:352602,»type»:»num»,»link»:»https:\/\/vc.ru\/seo\/352602-kak-bystro-proindeksirovat-stranicy-v-google-cherez-api»,»gtm»:»»,»prevCount»:null,»count»:18}

{«id»:352602,»type»:1,»typeStr»:»content»,»showTitle»:false,»initialState»:{«isActive»:false},»gtm»:»»}

{«id»:352602,»gtm»:null}

3316 просмотров

При создании сайта, Google очень неохотно индексирует новосозданные страницы, даже при отправке карты сайта (sitemap) в аккаунте Google search console, вебмастера не получают желаемого эффекта. Сразу сделаю оговорку, способ который я опишу – больше подходит для больший сайтов, в частности интернет-магазинов – с большим количеством генерируемых страниц-товаров, так как для маленьких сайтов, подойдет и ручная отправка страниц на индексацию через кнопку «Запросить индексацию».

Способ для отправки на индексацию страниц массово состоит в использовании Indexing API разработки Google. Описывать я буду настройку для сайтов на WordPress, но Вы можете использовать его для любого сайта на любой платформе, отличаться будет незначительно. Итак, начнем:

Название проекта пишем любое, как Вам удобно.

2. Как создадите проект, увидите такое окно:

Нажимайте кнопку «Создать сервисный аккаунт»

В поле имя можно вводить все что угодно, я ввожу название проекта.

{ «osnovaUnitId»: null, «url»: «https://booster.osnova.io/a/relevant?site=vc&v=2», «place»: «between_entry_blocks», «site»: «vc», «settings»: {«modes»:{«externalLink»:{«buttonLabels»:[«\u0423\u0437\u043d\u0430\u0442\u044c»,»\u0427\u0438\u0442\u0430\u0442\u044c»,»\u041d\u0430\u0447\u0430\u0442\u044c»,»\u0417\u0430\u043a\u0430\u0437\u0430\u0442\u044c»,»\u041a\u0443\u043f\u0438\u0442\u044c»,»\u041f\u043e\u043b\u0443\u0447\u0438\u0442\u044c»,»\u0421\u043a\u0430\u0447\u0430\u0442\u044c»,»\u041f\u0435\u0440\u0435\u0439\u0442\u0438″]}},»deviceList»:{«desktop»:»\u0414\u0435\u0441\u043a\u0442\u043e\u043f»,»smartphone»:»\u0421\u043c\u0430\u0440\u0442\u0444\u043e\u043d\u044b»,»tablet»:»\u041f\u043b\u0430\u043d\u0448\u0435\u0442\u044b»}} }

Далее, обязательно нужно выбрать роль нового аккаунта, это очень важно. Выбирайте «Владелец» либо если у вас так же на английском языке, как у меня, — “Owner”.

Далее все пропускаем и нажимайте готово.

3. Созданную почту куда-нибудь скопируйте, она еще понадобится.

4. Справа есть кнопка с действиями и выберете управление ключами

Нужно создать новый ключ. Выбираем JSON

6. Ключ автоматически скачивается на ваш компьютер. Откройте его блокнотом или другим редактором кода. Скопируйте содержимое.

7. Далее заходим в админку вашего сайта на WordPress. Нам нужно установить плагин Instant Indexing for Google, автор Rank Math. Плагин маленький и бесплатный.

8. В настройках плагина вставьте код из файлика json в поле.

9. Далее в настройках Google Search Console вашего сайта нужно добавить нового владельца сайта – это будет ваш созданный сервисный аккаунт. Для этого переходим Настройки-Пользователи и разрешения – Добавить пользователя. ВАЖНО! Обязательно выберете статус нового пользователя «Владелец».

И нажимаем Enable.

Все готово. API Google подключена к Вашему сайту. В настройках плагина в админке можно настроить какие страницы, записи будет индексировать, при обновлении и создании.

Чтобы это ускорить и не ждать обновления страниц, заходим в Google Search Console во вкладку «Покрытие» и выбираем исключенные страницы, собираем список страниц, непредставленных в поиске Google. Вставляем скопированные URL страниц в нужное поле и нажимаем Отправить в API.

Мои результаты пользования API:

Данный график показывает, какие страницы проиндексированы и находятся в поиске. Как видим, резкий скачок страниц — это время начала использования плагина и Google API.

Стоит сделать оговорку, следует отправлять страницы на индексацию через API, если уверены в их наполнении контентом, в противном случае, пустые страницы Google так же не проиндексирует, да и в этом нет смысла.

И еще немного насчет сайтов, не на WordPress. Для Вас шаги аналогичные, только Вам не нужно искать плагин, а скачать данный скрипт из GitHub. В файлике service_account.json вставляйте код вашего ключа, а в файлик urls.txt url страниц для индексации и запускайте скрипт.

Это все что я хотел рассказать про улучшении индексации в Google через API. Приятной вам погоды за окном и удачных проектов!

9 причин почему Google не индексирует сайт

Google не индексирует ваш сайт? Распространенная проблема, у которой есть много причин. Ниже рассмотрены 9 наиболее популярных и способы их решения.

Долгая загрузка сайта

Долго загружающиеся сайты не нравятся Google и индексируются дольше. У медленной загрузки есть множество причин. Например, слишком большое количество контента для обработки пользовательским браузером. Или использование устаревших серверов с ограниченными ресурсами.

Читайте также:

Как проверить скорость загрузки сайта и как ускорить загрузку

Проверить скорость загрузки сайта можно с помощью двух инструментов:

  1. PageSpeed Insights. Этот инструмент Google анализирует скорость загрузки сайта и дает рекомендации для оптимизации. Хороший показатель — от 70 баллов. Чем ближе к 100, тем лучше.
  2. WebPageTest. Этот инструмент оценивает скорость загрузки сайта и выделяет элементы, которые ее снижают.
Скриншот PageSpeed Insights за январь 2022 года

Более быстрый хостинг или использование CDN (сеть доставки содержимого) увеличат скорость загрузки сайта.

Присоединяйтесь к нашему Telegram-каналу!

  • Теперь Вы можете читать последние новости из мира интернет-маркетинга в мессенджере Telegram на своём мобильном телефоне.
  • Для этого вам необходимо подписаться на наш канал.

У сайта бесконечный цикл переадресации

Бесконечный цикл переадресации — еще одна частая проблема, мешающая индексации. Она может появиться из-за банальной опечатки. Но решить ее просто.

Если используется WordPress, файл .htaccess поможет найти страницы, с которых перенаправляется трафик. Просто вставьте в поиск Redirect 301, чтобы обнаружить все файлы с перенаправлением. Исправьте опечатки. Если присутствует 302 редирект, его стоит поменять на 301.

Читайте также:

Как сделать редирект — подробное руководство по настройке и использованию

С помощью инструмента Screaming Frog можно найти дополнительные ошибки на сайте. После их устранения воспользуйтесь Google Search Console, чтобы повторно подать запрос на индексацию. Обычно процесс занимает около семи дней.

Использование плагинов, блокирующих Googlebot

Некоторые плагины могут блокировать работу поискового робота Googlebot. В таком случае поисковая система не сможет просканировать сайт. Если вы настраиваете файл robots.txt через одноименный плагин для WordPress, Googlebot будет заблокирован.

Самостоятельная настройка файла решит проблему. Robots.txt должен размещаться в корневой папке сайта и быть доступен по адресу ваш_домен.ru/robots.txt. Убедитесь, что в файле нет косой черты в строчке Disallow:

User-agent: *

Disallow: /

Наличие косой черты «/» блокирует все страницы из корневой папки сайта. Чтобы поисковый робот мог проиндексировать весь сайт, ее нужно убрать.

Читайте также:

Robots.txt: что это, как создать и правильно настроить

Для рендеринга используется JavaScript

В процессе рендеринга веб-страницы браузер преобразует код в картинку. Использование JavaScript не всегда приводит к проблемам с индексацией. Но они точно возникнут, если JavaScript используется для маскировки.

Маскировка — это прием, при котором сайт предоставляет пользователям и поисковым системам неодинаковый контент или разные URL. Это нарушение рекомендаций Google.

Иногда рендерная и сырая версия страницы отличаются друг от друга, что может восприниматься как маскировка. В таком случае индексация остановится. Скрытие файлов JavaScript и CSS также не позволит Google проиндексировать сайт.

В Google Search Console не указаны все варианты домена

В Google Search Console должны быть указаны и верифицированы все варианты вашего домена. Это особенно важно, если вы мигрируете с http:// на https://.

Установлены метатеги noindex, nofollow

Установка метатегов noindex, nofollow бывает необходима. Но если метатеги появляются не на той странице или применяются ко всему сайту, он не будет индексироваться.

Читайте также:

4 метатега, которые стоит использовать: Robots, Rel canonical, Hreflang, Schema.org

Решить эту проблему просто — поменяйте все метатеги noindex, nofollow на index, follow.

Штрафные санкции со стороны Google

За нарушение рекомендаций Google может пессимизировать сайт. Штрафные санкции накладываются как вручную, так и автоматически. Например, после обновления алгоритмов.

Да за что?!

До тех пор, пока нарушения не устранены, сайт не будет индексироваться. Чаще всего штрафы накладываются за наличие:

  • вредоносного и нежелательного ПО на сайте;
  • скрытого текста и ссылок;
  • маскировки;
  • скрытой переадресации;
  • нерелевантных ключевых слов;
  • избыточного количества ключевых слов;
  • дублированного контента.

Сайт не адаптирован под мобильные платформы

Адаптация сайта под мобильные платформы — критический момент. С 1 июля 2019 года Google при индексации отдает приоритет мобильному контенту.

Необязательно вносить много изменений. Бывает достаточно плавающей сетки и медиавыражений. Под плавающей сеткой понимается макет сайта, адаптирующийся под меняющиеся размеры экрана или устройство пользователя. А медиавыражения позволяют CSS адаптироваться под параметры или характеристики устройства.

Специальный инструмент Google позволит проверить оптимизацию для мобильных устройств. Он подскажет, не было ли нагромождений кода при написании сайта, что также влияет на индексацию.

Проблемы с техническим SEO

Техническое SEO — важный элемент при работе с сайтом. Именно техническая оптимизация помогает поисковым системам сканировать, понимать и индексировать страницы.

С помощью грамотно выполненного технического SEO можно идентифицировать проблемы с основными интернет-показателями, сканированием и индексацией. Порой может казаться, что проще запустить новые сайт, но качественное техническое SEO поможет решить проблемы.

Технический аудит сайта

  • Наличие дублей страниц, безопасность, корректность всех технических параметров: переадресаций, robots.txt, sitemap.xml скорость загрузки и др.
  • Техническая оптимизация — один из основных этапов в продвижении.

Поисковые роботы, вперед!

Чтобы сайт был успешным, важно размещать на нем хороший контент, работать с техническим SEO и создавать качественные обратные ссылки. Но все это будет впустую, если он не индексируется.

Убедитесь, что все проблемы с индексацией решены, и тогда Google отблагодарит вас хорошим трафиком.

SEO с помощью JavaScript: как Google сканирует скрипты на JavaScript

| Среда, 24 октября, 2018

Метки: SEO, Javascript

Когда мы занимаемся SEO (поисковая оптимизация), то всегда обращаем внимание на ранги и SERP (страница результатов поиска), но нам также важно знать о процессах, которые происходят перед этим: сканирование и индексирование. Google оценивает (ранжирует) проиндексированные веб-страницы. Если веб-страница не проиндексирована или же проиндексирована неправильно, то это отразится на рейтинге.

“Веб уже перешёл от простого HTML – и в плане улучшения SEO с этим приходится считаться. Настало время перенимать опыт разработчиков JS и делиться с ними знаниями о SEO. JS не собирается никуда уходить”, — считает Джон Мюллер, старший аналитик тенденций в области веб.

Поэтому нужно понимать следующее. Процессы анализа в Google веб-сайта с JavaScript и веб-сайта без JavaScript, сильно отличаются: скрипты JavaScript вредят рейтингу в том случае, если реализованы недостаточно осмотрительно.

В 2014 году Google заявил, что компания старается эффективнее понимать веб-страницы, выполняя рендеринг скриптов JavaScript. Но как на самом деле они это делают? И в какой степени они могут визуализировать скрипты JavaScript? Давайте подробнее рассмотрим весь процесс сканирования и индексирования. Кто (или в этом случае – что) участвует в этом процессе?

Googlebot

Этот сканер также называют пауком. Всякий раз, когда на веб-сайте появляется новая страница или какие-либо новые обновления, то Googlebot будет первой точкой соприкосновения с поисковой системой. Он сканирует веб-страницы и анализирует все найденные на ней ссылки. Таким образом, бот обнаруживает новые ссылки и новые веб-страницы для последующего сканирования. Затем просканированные веб-страницы передаются алгоритму Caffeine для индексации.Имейте в виду, что с помощью robots.txt можно отказать Googlebot в доступе. Если нужно, чтобы веб-страницы с JavaScript были просканированы и проиндексированы, то первое, что нужно сделать, – это разрешить к ним доступ для сканеров. Не забудьте также отправить URL-адреса в Google с помощью консоли поиска Google, выслав XML-карту сайта.

Caffeine

Этот алгоритм индексирования был запущен в 2010 году. Всё то, что просканирует Googlebot, далее будет проиндексировано алгоритмом Caffeine, и этот индекс повлияет на выбор Google о том, какие веб-страницы будут ранжироваться. Ещё одна важная работа, которую выполняет Caffeine, помимо индексации контента, – это рендеринг JavaScript на странице. Этот аспект очень важен: без рендеринга поисковая система не сможет полностью проиндексировать контент веб-страницы.

Обнаруженные во время рендеринга ссылки также будут отправлены обратно Googlebot для очередного сканирования, что приведёт ко второй индексации. Это очень значимый момент, потому что одна из важнейших составляющих SEO – это внутренняя перелинковка. Внутренняя перелинковка веб-страниц на сайте даёт Google мощный сигнал в плане таких аспектов, как рейтинг страницы, авторитетность и частота сканирования. Всё это в конечном итоге повлияет на ранжирование страниц.

Процесс сканирования и индексирования веб-страниц с JavaScript отличается Ниже представлена инфографика с конференции Google i/o этого года, которая демонстрирует рабочий процесс сканирования, индексирования и рендеринга.

Рисунок полезно изучить для понимания общей идеи этого процесса в целом, однако почему бы не рассмотреть его более подробно? Что же происходит, когда поисковая система доходит до простых HTML-страниц без JavaScript?

  • Googlebot загружает сырой HTML-файл веб-страницы.
  • Googlebot передает HTML-файл алгоритму Caffeine для извлечения всех ссылок и метаданных.
  • Googlebot продолжает сканировать все найденные на странице ссылки.
  • Извлечённый контент индексируется алгоритмом Caffeine и используется для ранжирования.

Вот что происходит, когда Googlebot доходит до веб-страницы с JavaScript

  • Googlebot загружает сырой HTML-файл веб-страницы.
  • Ничего не происходит, потому что всё скрыто в JavaScript.
  • Алгоритму Caffeine нечего индексировать.
  • Веб-страница не ранжируется по причине отсутствия контента.

Однако это был худший сценарий: когда JavaScript внедрён таким образом, что поисковая система не может его визуализировать. Таким образом, проиндексированная версия веб-страницы с точки зрения Google оказывается пуста. Пустые веб-страницы не будут эффективно ранжироваться. Именно поэтому нужно разобраться, как внедрить JavaScript таким образом, чтобы он был полностью проиндексирован или выглядел как можно более похожим на то, каким его видит пользователь современного браузера.

К счастью, теперь Caffeine действительно умеет визуализировать файлы JavaScript подобно браузерам. Google сделал всем веб-разработчикам и специалистам по SEO большой сюрприз, когда продемонстрировал, что WRS (служба веб-рендеринга поисковой системы) в действительности основана на возможностях Chrome 41. С выходом в сентябре Chrome 69 поисковая система сильно отстаёт в плане рендеринга современных скриптов JavaScript. Но это всё-таки лучше, чем совсем ничего, верно?

Что происходит, когда Google с возможностями рендеринга доходит до веб-страниц с JavaScript

  • Googlebot загружает HTML-файл веб-страницы.
  • Первое индексирование происходит мгновенно без рендеринга контента, рендерингом JavaScript занимается алгоритм Caffeine.
  • Любые извлечённые ссылки, метаданные, контент и так далее передаются Googlebot для дальнейшего сканирования.
  • Полученный контент индексируется во время второго сеанса индексации и далее используется для ранжирования.

    Означает ли это, что Google может без проблем сканировать и индексировать веб-страницы с JavaScript? Короткий ответ: нет. Google способен сканировать скрипты JavaScript, но не все. Вот почему так важно реализовать грациозную деградацию веб-страниц. Таким образом, даже если поисковая система не сможет правильно выполнить рендеринг веб-страницы, то, по крайней мере, это не будет катастрофой (скажите спасибо хоть за это).

    Дело в том, что рендеринг JavaScript для Google является ресурсоёмким и дорогим процессом. Первая индексация может произойти настолько быстро, насколько быстро удастся проиндексировать HTML-составляющую, но важна следующая часть – вторая индексация после рендеринга будет помещена в очередь до тех пор, пока для обработки не появится достаточно свободных ресурсов.

    Представьте себе, что это означает: вы подали Google еду, но, поскольку у него отсутствуют столовые приборы для того, чтобы её съесть, он может судить о её вкусе только визуально, а сервер не принесёт столовые приборы до тех пор, пока не обслужит 3 или более других столика с ранее принятыми заказами. После этого Google опубликует отзыв в Интернете, в котором скажет, что ваша еда – это полный отстой. Разве это справедливо? Конечно же, нет.

    Подобно частоте сканирования, насколько быстро и часто будет выполняться вторая индексация, зависит от нескольких факторов, таких как рейтинг страницы, количество и качество обратных ссылок, частота обновления, количество посетителей и даже скорость загрузки сайта.

    Как убедиться в том, что Google сможет правильно просканировать, визуализировать и проиндексировать сайт с JavaScript? Заметьте, это произойдёт не так быстро, потому что скорость – это отдельный вопрос. Два важных инструментария, которые можно применить для оценки того, насколько эффективно Google сканирует и индексирует сайт с JavaScript, – это инструмент Fetch and Render в Google Search Console и браузер Chrome 41.

    Обобщим…

  • Googlebot сканирует, а алгоритм Caffeine выполняет индексирование и рендеринг.
  • В случае веб-страниц на HTML Googlebot запрашивает страницу и загружает HTML, затем алгоритм Caffeine индексирует контент.
  • Для веб-страниц с JavaScript: Googlebot запрашивает страницу, загружает HTML, выполняется первое индексирование. Затем Caffeine выполняет рендеринг страницы и отправляет обнаруженные ссылки и данные обратно в Googlebot для очередного обхода, после повторного сканирования выполняется вторая индексация.
  • Рендеринг – это ресурсоёмкий процесс, а вторая индексация будет помещена в очередь, что понизит её эффективность.
  • Используйте инструмент Fetch and Render из Google Search Console и браузер Chrome 41 для того, чтобы оценить, насколько качественно Google способен проиндексировать страницу с JavaScript.
  • Никто еще не оставил здесь комментарий.

    Почему Гугл не индексирует некоторые страницы моего сайта

    Многие страницы никогда не индексируются Google.

    Если вы работаете с сайтом, особенно с большим, вы, вероятно, заметили, что не все страницы вашего сайта индексируется. Причин может быть несколько.

    Многие seo-оптимизаторы по-прежнему считают, что Google не может индексировать контент из-за технических особенностей, но это миф. Правда в том, что Google может не проиндексировать ваши страницы, если вы не отправляете последовательные технические сигналы о том, какие страницы вы хотите проиндексировать.

    Что касается других технических проблем: такие вещи, как JavaScript, действительно усложняют индексацию, ваш сайт может страдать от серьезных проблем с индексированием, даже если он написан на чистом HTML.

    Причины, по которым Google не индексирует ваши страницы

    Проверив самые популярные интернет-магазины мира, обнаружили, что в среднем 15% их индексируемых страниц продуктов невозможно найти в Google.

    Результат удивительный. Почему? Каковы причины, по которым Google решает не индексировать то, что технически должно быть проиндексировано?

    Консоль поиска Google сообщает о нескольких статусах неиндексированных страниц, например «Просканировано — в настоящее время не проиндексировано» или «Обнаружено — в настоящее время не проиндексировано». Хотя эта информация явно не помогает решить проблему, это хорошее начала диагностики.

    Основные проблемы с индексацией

    Наиболее популярные проблемы индексации, о которых сообщает Google Search Console:

    1. «Просканировано — в настоящее время не проиндексировано»

    В этом случае Google посетил страницу, но не проиндексировал ее.

    Исходя из моего опыта, это обычно проблема качества контента. Учитывая бум электронной коммерции, который в настоящее время происходит, ожидаемо, что Google стал более требовательным к качеству сайтов. Поэтому, если вы заметили, что ваши страницы «просканированы — в настоящее время не проиндексированы», убедитесь, что контент на этих страницах имеет уникальную ценность:

    • Используйте уникальные заголовки, описания и текст на всех индексируемых страницах.
    • Избегайте копирования описаний продуктов из внешних источников.
    • Используйте канонические теги для объединения повторяющегося контента.
    • Запретите Google сканировать или индексировать некачественные разделы вашего сайта с помощью файла robots.txt или тега noindex.
    2. «Обнаружено — в настоящее время не индексируется»

    Это проблема может охватывать всё, от проблем со сканированием до недостаточного качества контента. Это серьезная проблема, особенно в случае крупных интернет-магазинов. И такое может случиться с десятками миллионов URL-адресов на одном сайте.

    Google может сообщить, что страницы продуктов электронной коммерции «обнаружены — в настоящее время не проиндексированы» по следующим причинам:

    • Проблема с бюджетом сканирования: в очереди сканирования может быть слишком много URL-адресов, и они могут быть просканированы и проиндексированы позже.
    • Проблема с качеством: Google может подумать, что некоторые страницы в этом домене не стоит сканировать и решит не посещать их, ища шаблон в их URL.

    Чтобы справиться с этой проблемой, требуется некоторый опыт. Если вы обнаружите, что ваши страницы «обнаружены — в настоящее время не проиндексированы», сделайте следующее:

    1. Определите, есть ли шаблоны страниц, попадающих в эту категорию. Может быть, проблема связана с определенной категорией товаров, а вся категория не имеет внутренней связи? Или, может быть, огромная часть страниц продуктов ожидает в очереди на индексирование?
    2. Оптимизируйте свой краулинговый бюджет. Сосредоточьтесь на обнаружении некачественных страниц, которые Google тратит много времени на сканирование. К обычным подозрениям относятся страницы отфильтрованных категорий и страницы внутреннего поиска — эти страницы могут легко попасть в десятки миллионов на типичном сайте электронной коммерции. Если робот Googlebot может свободно их сканировать, у него может не быть ресурсов для доступа к ценным материалам на вашем сайте, проиндексированным в Google.
    3. «Повторяющееся содержание»

    Дублирование контента может быть вызвано разными причинами, например:

    • Варианты языка (например, английский язык в Великобритании, США или Канаде). Если у вас есть несколько версий одной и той же страницы, ориентированных на разные страны, некоторые из этих страниц могут оказаться неиндексированными.
    • Дублированный контент, используемый вашими конкурентами. Это часто происходит в e-commerce, когда несколько сайтов используют одно и то же описание продукта, предоставленное производителем.

    Помимо использования rel = canonical, 301 редиректа или создания уникального контента, я бы сосредоточился на предоставлении уникальной ценности для пользователей. Fast-growing-trees.com может быть примером. Вместо скучных описаний и советов по посадке и поливу на сайте можно увидеть подробный FAQ по многим продуктам.

    Кроме того, вы можете легко сравнивать похожие товары.

    Для многих продуктов есть FAQ.

    Как проверить индексирование вашего сайта

    Вы можете легко проверить, сколько страниц вашего сайта не проиндексировано, открыв отчет об индексировании в Google Search Console.

    Первое, на что следует обратить внимание, — это количество исключенных страниц. Затем попробуйте найти закономерность — какие типы страниц не индексируются?

    Если у вас интернет-магазин, вы, скорее всего, увидите неиндексированные страницы продуктов. Хотя это всегда должно быть предупреждающим знаком, вы не можете ожидать, что все страницы ваших продуктов будут проиндексированы, особенно на большом сайте. Например, в большом интернет-магазине обязательно будут дублирующиеся страницы и товары с истекшим сроком годности или отсутствующие в наличии. Этим страницам может не хватать качества, которое поместило бы их в начало очереди индексации Google (и это если Google вообще решит сканировать эти страницы).

    Кроме того, на крупных интернет-магазинах, как правило, возникают проблемы с бюджетом сканирования. Я видел случаи, когда в интернет-магазинах было более миллиона товаров, в то время как 90% из них были классифицированы как «обнаруженные — в настоящее время не проиндексированные». Но если вы видите, что важные страницы исключаются из индекса Google, вы должны быть серьезно обеспокоены.

    Как повысить вероятность того, что Google проиндексирует ваши страницы

    Каждый сайт индивидуален и может иметь разные проблемы с индексированием. Тем не менее, вот советы, которые помогут вашим страницам индексироваться:

    1. Избегайте ошибок «Soft 404».

    Убедитесь, что на ваших страницах нет ничего, что может ложно указывать на мягкий статус 404. Это включает в себя все, что угодно, от использования «Не найдено» или «Недоступно» в копии до наличия числа «404» в URL-адресе.

    2. Используйте внутренние ссылки.

    Внутренние ссылки — один из ключевых сигналов для Google о том, что данная страница является важной частью сайта и заслуживает индексации. Не оставляйте лишних страниц в структуре вашего сайта и не забудьте включить все индексируемые страницы в карты сайта. Внутренние ссылки — один из элементов кайдзен сайта.

    3. Реализуйте надежную стратегию сканирования.

    Не позволяйте Google сканировать ваш сайт. Если на сканирование менее ценных частей вашего домена тратится слишком много ресурсов, Google может потребоваться слишком много времени, чтобы добраться до нужного. Анализ журнала сервера может дать вам полное представление о том, что сканирует робот Googlebot и как его оптимизировать.

    4. Устранение некачественного и дублированного контента.

    На каждом большом сайте в конечном итоге появляются страницы, которые не следует индексировать. Убедитесь, что эти страницы не попадают в ваши карты сайта, и при необходимости используйте тег noindex и файл robots.txt. Если вы позволите Google проводить слишком много времени в худших частях вашего сайта, это может недооценить общее качество вашего домена.

    5. Посылайте последовательные сигналы SEO.

    Один из распространенных примеров отправки непоследовательных сигналов SEO в Google — это изменение канонических тегов с помощью JavaScript. Как сказал Мартин Сплитт из Google во время работы JavaScript SEO Office Hours, вы никогда не можете быть уверены в том, что Google будет делать, если у вас есть один канонический тег в исходном HTML и другой после рендеринга JavaScript.

    Интернет становится слишком большим

    За последние пару лет Google совершил гигантский скачок в обработке JavaScript, упростив работу оптимизаторов поисковых систем. В наши дни реже можно увидеть сайты на базе JavaScript, которые не индексируются из-за конкретного технического стека, который они используют.

    Но можем ли мы ожидать того же самого с проблемами индексации, не связанными с JavaScript? Я так не думаю. Интернет постоянно растет. Каждый день появляются новые сайты, а существующие растут. Сможет ли Google справиться с этой проблемой?

    Этот вопрос появляется время от времени. Цитата Google:

    «У Google ограниченное количество ресурсов, поэтому, когда он сталкивается с почти бесконечным количеством контента, доступного в Интернете, робот Googlebot может найти и просканировать только часть этого контента. Затем из просканированного контента мы можем проиндексировать только его часть».

    Другими словами, Google может посещать только часть всех страниц в Интернете и индексировать еще меньшую часть. И даже если ваш сайт великолепен, вы должны помнить об этом.

    Вероятно, Google не будет посещать все страницы вашего сайта, даже если он относительно небольшой. Ваша задача — убедиться, что Google может обнаруживать и индексировать страницы, важные для вашего бизнеса.

    Узнайте какие 5 ошибок убивают ваше SEO!

    отличия и особенности — SEO-словарь веб-студии Муравейник

    В данной статье рассмотрим различия в индексации Яндекса и Google и почему в разных поисковиках может быть проиндексировано разное количество страниц. Подписчик спрашивает: «По какой причине в индексе Яндекса и Google количество страниц моего сайта разное? К примеру, в Яндексе 155, а в Google 230. Насколько это плохо? Как определить, почему так случилось? Как исправить?».

    Почему необходимо попадание страниц в индекс

    Индекс — это некоторая поисковая база, из которой потом поисковая система выбирает старнички, чтобы они участвовали в ранжировании (то есть участвовали в конкуренции за первые места) по тем или иным запросам.

    Если страница вылетела из индекса либо в него не попала, то, соответственно, нигде не будет участвовать — и это плохо. Потому что если она хоть как-то худо-бедно в индекс залетела, то какой-нибудь запрос все равно на себя притянет, по нему выйдет. Пусть он даже будет супермикрочастотный, все равно хоть какой-то трафик может на себя собирать.

    Потому за этим действительно нужно следить. У каждой поисковой системы существуют разные критерии по добавлению страниц в индекс и сохранении их там.

    Есть четкие, например, и Яндекс, и Google выбрасывают дубли, а также страницы, закрытые от индексации тем или иным способом (и это очевидно, вебмастеры сами сказали поисковиком, что их не надо индексировать) и т.д.

    Но есть и более мягкие критерии:

  • в Яндексе — это те страницы, которые раньше называли недостаточно качественные, а сейчас — малополезные, малоценные либо невостребованные. И у Яндекса свой набор правил, по которым эти страницы вылетают;
  • в Google такие страницы попадают в «просканировано, но не проиндексировано». То есть поисковик об этих страницах узнал, но пока решил в индекс не добавлять.
  • В обе эти категории входят страницы, которые по этим «мягким», не всегда понятным критериям не попадают в индекс. И в основном различие в индексации Яндекса или Google относится к этим категориям страниц, которые вылетели и не попали в индекс по неоднозначным критериям.

    Особенности индексирования в Яндексе и Google

    В Яндексе «недостаточно качественное» поменялось на одтельные два блока — малополезное/малоценное и невостребованное — и две категории как бы объединены, но по факту это 2 разных проблемы.

    Первая, когда они малополезны, малоценны — это про их качество: мало контента, либо он настолько некачественный или недостаточный по мнению Яндекса, что из-за этого страница не попадает в индекс. Обычно это карточки товаров без фотографий, документ практически без контента — только заголовок, а больше ничего нет, или заголовок и один комментарий. Вот такие часто вылетают. То есть просто страница настолько проигрывает конкурирующим, что не может быть показана по какому-либо запросу, потому что бесполезна.

    А вот вторая часть — невостребованы — это абсолютно про другое. Такая страница не нужна, нет тех запросов, по которым она будет ранжироваться, люди такое не спрашивают, поэтому даже нет смысла ее добавлять. И здесь вопрос в спросе.

    Например, у вас есть теговая страница на сайте. И вы берете и добавляете заголовок в Вордстат, можно даже без разметки (кавычек, восклицательных знаков), а просто в широком соответствии. Даже можно регион не выставлять, а выбрать всю страну. И смотрите, а есть ли в таком режиме хоть какой-то мизерный спрос на это. И если хотя бы 10-20 человек так спрашивают, то страницу можно оставлять и под «невостребована» она не попадет. Если там 0, то лучше такую теговую страницу вообще не создавать, не внедряйте искусственную семантику на сайт, это вам только навредит. В ряде случаев это может пройти, но потом все равно такие страницы вылетят и сайту будет плохо.

    Иногда, конечно, бывает, что может повезти и получится. Есть опыт, когда сгенерировали всё на всё, немного доделали и оно все-таки зашло — но это довольно редкая ситуация.

    В Google нет такой детализации. Данный поисковик не особо любит объяснять, почему он именно так решил и именно эти страницы в категорию «просканировано, но не проиндексировано» отправил. И, в общем, в справке у них это тоже описано довольно абстрактно. В Яндексе тоже раньше про недостаточно качественно толком написано не было, сейчас хоть расписали в новой формулировке, спасибо им за это. А вот у Google четких критериев нет.

    Что делать

    Таким образом, все отличие в количестве проиндексированных страниц заключается в том, что критерии отличаются у разных поисковиков. Так что вам нужно заходить и в отчет Яндекса по просканивроанным и проиндексирвоанным старницам, смотреть, почему вылетели именно они: недостаточно качественные, дубли или еще какие-то причины, они случайно стали закрыты или не случайно. И обратить внимание, есть ли проблемы, какие, и постараться исправить их: сделать документы более качественными, а если не востребованы (спроса нет), то просто удалить, и в Яндекс и Google они не должны попадать.

    И в Google тоже заходить в отчет «просканировано, но не проиндексировано» и смотреть, какие страницы туда попали, затем пробовать их либо прокачать, либо закрыть от индексации.

    Поэтому в целом такое отличие, как правило, не несет ничего плохого, но если очень сильно отличается количество страниц, то нужно проверять и там, и там и как-то исправлять.



    4 причины почему сайта нет в выдаче Google — Гугл не видит сайт

    Сайт готов к работе, запущен, но трафик «0». Его нет в результатах поиска Google. Скорее всего, эта проблема легко решается. Рассмотрим 4 причины, прочему сайта нет в выдаче и советы о том, как ускорить его индексацию.

    Сайт не проиндексирован

    Поисковые роботы обнаруживают новый веб-ресурс, переходя по ссылкам и регистрируют его в базе данных. Узнайте, прошел ли ваш сайт индексацию, набрав в поиске «site:название сайта» без пробела после двоеточия. Например: site:star-marketing.com.ua. В результатах выдачи появятся все проиндексированные страницы сайта.

    Сайт попадет в базу данных быстрее через сервис «Google Search Console». Зарегистрируйтесь, подтвердите права на сайт, отправьте запросы на индексацию нужных страниц. В панели веб-мастера отслеживайте уведомления об ошибках, рекомендации, состояние индексации, статистику переходов.

    Для отправки страницы на индексацию вручную, введите адрес страницы в поле «Проверка URL».

    Через время отправленная страница должна появиться в выдаче Google.

    Алгоритмы быстрее просканируют онлайн-площадку по карте сайта для поисковых роботов. Добавляйте в карту сайта внутренние ссылки на каждую страницу, которую нужно проиндексировать. Не используйте линки, появляющиеся после действий пользователей (результаты поиска по сайту, фильтров и т.д.). Поисковые роботы не должны их индексировать. Карта сайта находится по адресу sitemap.xml. Например: https://star-marketing.com.ua/sitemap.xml. Отправьте ее в Google Search Console:

    Запрет на индексацию в файле robots.txt

    В корневой каталог разработчики добавляют файл robots.txt., регулирующий посещение веб-страниц роботами. Они закрыты для индексации, если в нем есть строки:

    Когда работа над сайтом завершена, веб-мастер может забыть убрать запрет, и система его не увидит. Проверьте, активен ли запрет отслеживания: отправьте файл сайта в консоль поиска Google. Если алгоритмы просканировали его и нашли блокировку, в отчете «Проверка URL – Покрытие» ищите ошибку: «Submitted URL blocked by robots.txt».

    Обнаружили его на своей платформе? Рекомендуем обратиться к профессионалам. Они корректно отключат запрет отслеживания. После устранения robots.txt подайте запрос на регистрацию в Google.

    Когда сайт проиндексирован, в отчете «Проверка URL – Покрытие» появится соответствующая отметка и будет указано, что сканирование разрешено:

    Блокировка индексации страницы на WordPress

    Такой запрет делает страницы невидимыми для алгоритмов, что нужно в процессе верстки или тестирования. Они не появятся в выдаче, даже если отправить карту сайта в Google.

    Код выглядит так:

    WordPress автоматически добавляет в HTML мета-тег «noindex», запрещающий индексацию, если в разделе «Search Engine Visibility» активирована эта опция:

    Галочку в этом блоке устанавливают во время разработки сайта, чтобы пользователи не заходили на него. Когда работы завершены, эту опцию часто забывают отключить. Узнайте, есть ли уведомление о запрете сканирования на странице с отчетом в консоли поиска в Google:

    Санкции от Google

    Это наименее вероятная причина того, почему сайта нет в выдаче. Если он соответствует требованиям системы и учитываются изменения алгоритмов, фильтры не накладываются. Подробнее о санкциях поисковых систем можно узнать в нашей статье. Доверяйте исправление таких проблем опытным веб-мастерам!

    Улучшение сайта для индексации

    Разрабатывая веб-ресурс, учитывайте требования Google и особенности работы алгоритмов. SEO оптимизация сайта помогает привести сайт в соответствии им. Требуется всесторонняя настройка параметров, влияющих на регистрацию в поисковой системе и ранжирование.

    Рассмотрим несколько факторов, ускоряющих регистрацию онлайн-площадки:

    • Язык веб-страниц. HTML индексируется лучше, чем Java или AJAX.
    • Внешние ссылки. Если на ваш сайт ссылается авторитетный источник, Google найдет его быстрее.
    • Название страницы в пути URL (ЧПУ) алгоритмам найти легче, чем параметры URL:
    • SEO-оптимизация – комплекс работ над сайтом для продвижения в ТОП. Веб-страницы, соответствующие поисковым запросам, хорошо ранжируются. Ключевые фразы в контенте, описании, URL показывают, что на веб-ресурсе есть информация, интересующая пользователей. Если они не используются, сайт не отобразится в выдаче по этим фразам.
    • Страницы, идентичные по содержанию. Есть разные способы обнаружить дубли страниц. Один из них – Онлайн-сервис Ashrefs Site Audit. На обнаруженных дублях нужно указать каноническую страницу (основную) при помощи атрибута rel=”canonical”, либо настроить переадресацию на нужную страницу (redirect 301).
    • Неуникальный контент. Google не поддерживает плагиат. Публикуйте на сайте тексты с уникальностью не ниже 95 %. Добавляйте авторские изображения.
    • Низкая скорость загрузки сайта. Это происходит, если используются «тяжелые» изображения и видео, сложная анимация, у веб-платформы и хостинга небольшой ресурс. Сожмите изображения, измените параметры кэширования и отключите лишние плагины. Это ускорит работу сайта. Если нужна более глубокая оптимизация скорости загрузки, обращайтесь к профессионалам.

    Зачастую индексации нет, если в Google не отправлена карта сайта или в коде страницы есть блокировка в robots.txt. Эти неполадки легко устранить. Если наложены фильтры поисковой системы, обращайтесь за устранением проблемы к специалистам, чтобы не усугубить ситуацию ошибочными действиями. Работа над качеством сайта ускоряет индексацию и содействует быстрому продвижению в ТОП.

    Практические способы индексирования страниц в Google и Яндекс

    На чтение 6 мин. Просмотров 2.8k. Опубликовано Обновлено


    Предисловие

    Привет! Решил написать немного о способах индексирования страниц в ПС. Самый простой и быстрый способ проиндексировать страницу — это просто отправить ее в Google. Индексация займёт около 20 секунд, и ваш сайт будет виден в Google. Сообщите о новых страницах, нажав на ссылку ниже или добавив карту сайта консоли Google или Яндекс.Вебмастер.

    Хотя есть еще куча способов, вот те которые я вспомнил, если знаете еще какие то — пожалуйста напишите в комментарии, я опубликую.

    Добавлять сайт в поиск Google уже неактуально

    https://www.google.com/webmasters/tools/submit-url?hl=ru

    Видео по этой теме индексирования страниц:

    Индексация страницы

    Приведенная выше консоль Google очень полезна, если вы хотите, например, быстро проиндексировать новые добавленные категории или статьи, не дожидаясь, пока роботы поисковых систем посетят ваш сайт. Достаточно предоставить полный адрес веб-сайта с новой темой для индексации.

    Существует несколько факторов, определяющих скорость индексации нового контента:

    • четкость кода и соответствие сайта стандартам;
    • оптимизация сайта для SEO;
    • частота публикаций;
    • значение атрибута;

    URL-индексация с построением ссылок

    Вышеупомянутая консоль Google, к сожалению, не хочет индексировать все ссылки, а тем более не дружественные URL-ы, в случае, например, создания профилей или других ссылок, направленных на улучшение позиции вашего сайта.

    Пример ссылки на профиль с недружественным URL-адресом:

    http://admoblkaluga.ru/main/society/forum/?PAGE_NAME=profile_view&UID=42936

    Недружественный URL-адрес

    Создавая обратные ссылки на разных веб-сайтах, вы получите много ссылок о не дружественных URL-адресах, так что они принесут определенную ценность вашему сайту и должны быть проиндексированы в поисковых системах.

    Самый простой способ — проиндексировать ссылки, разместив обратную ссылку в вашем хорошем источнике, например, в вашем профиле, но если у вас 1000 ссылок, то создание обратных ссылок вручную не имеет смысла. Известно, что эти ссылки в основном создаются для связывания низкоуровневых внутренних страниц , но без их индексации они не будут переносить какую-либо ценность на целевую страницу, и вы только потеряете время.

    Индексирование сайта с использованием СОС (Бирж ссылок)

    Самым простым и быстрым способом является соединение с Системой Обмена Ссылками (в простонародности биржа ссылок типа Сапы) … но связь с СОС может быть в значительной степени вредной, что не приведет к эффекту вашей работы. Если вы решили быстро связать новые ссылки с помощью СОС, вы можете использовать gogetlinks.net.

    Индексирование страниц с помощью .PDF

    Очень простая вещь, а именно, мы создаем краткое или длинное описание со ссылками на ваши новые страницы и сохраняем файл в формате .PDF. Вы можете создавать файлы .pdf в бесплатной программе Open Office.

    Если вы уже создали файл .pdf, разместили его на нескольких или десятках бесплатных серверов, то вы можете связать опубликованные файлы на сервере или подождать, пока роботы поисковых систем найдут его и отсканируют с помощью обратных ссылок, включенных в него.

    Индексирование с помощью онлайн-инструментов

    Это очень хорошая форма индексации ваших ссылок, индексация осуществляется путем создания нескольких обратных ссылок на нескольких платформах для каждой представленной ссылки. Использование инструментов является платным, но это не дорого. Стоимость индексации 1,5 миллиона ссылок стоит всего $17,97.

    Инструменты, которые поддерживают индексацию:

    • http://www.indexification.com/
    • http://www.instantlinkindexer.com/
    • https://black-star.link/

    Индексация с помощью Pinging

    Точно не могу сказать насколько рабочий этот инструмент, можете попробовать и сделать выводы сами

    Пингаторы:

    • indexme.site
    • banochkin.com/tools/indexer/

    Как проиндексировать страницы сторонних сайтов?

    Индексация через private blog network сайты Google Search Console.

    Действия:

    • Зарегистрировать доменные имена для выполнения задач по индексации;
    • Добавить домены в Google Search Console;
    • Создать страницы;
    • Разместить на созданных страницах 301-редиректы;
    • Направить на индексацию через REQUEST INDEXING.

    Индексация с использованием программ

    Конечно, если у вас есть соответствующие программы поддержки позиционирования, вы можете индексировать новые ссылки, например:

    • комментарии
    • темы форума
    • вики-медиа
    • и многое другое …

    Программы, которые лучше всего подходят для этого:

    • XseoN
    • GSA Поисковая система Ranker
    • Маджестик
    • Xrummer

    На мой взгляд, покупать программы невыгодно, потому что нужно хорошо их знать, а создание проектов для каждой ссылки отдельно занимает много времени. Лучшее решение — использовать описанные выше онлайн-инструменты и доверить индексацию обученному человеку.

    Проверка индексации страницы

    Если у вас есть ссылка,то просто вставьте ее в панель поиска Google. Если страница появляется в результатах поиска, это означает, что она была проиндексирована. Если вы запускаете службу блогов и хотитие проверить количество проиндексированных страниц или новых тем, используйте соответствующую команду:

    • Яндекс — url:site.ru/yandex/
    • Google (неактуально) — info:site.ru/google/
    • Google (актуально) — inurl:site.ru/google/

    Как улучшить индексацию страниц

    Чем больше страниц на вашем сайте, тем лучше для вас. Поисковым системам нравится, если вы постоянно развиваете свой сайт новыми темами и обновляете старые записи. Имея много подстраниц, стоит убедиться, что они правильно проиндексированы поисковыми системами. Благодаря этому ваша позиция сайта будет стабильной и высокой.

    Каждая страница должна содержать файл robots.txt в главном каталоге файлов на сервере. В файле robots.txt мы можем поместить ряд команд, которые регулируют доступ к сайту роботов поисковых систем.

    Как долго страница сканирует в Google?

    Если вы отправляете страницу для индексации непосредственно в консоли Google, индексация страницы займет всего несколько минут или больше. Индексация страницы другим способом может занять до нескольких дней.

    Как Google индексирует страницы?

    После получения сигнала уведомления или нахождения обратной ссылки, на ваш веб-сайт отправляются роботы, считывающие весь код страницы. После чего анализируются тематика страницы, ключевые слова, метатеги, заголовки, длина статьи, фотографии и другие элементы страницы. На следующем этапе Google, основываясь на общем содержании и качестве вашего сайта (по сравнению с другими сайтами по этой теме), устанавливает свой рейтинг в результатах поиска.

    Внутренние ссылки

    Соответствующие внутренние ссылки могут повысить скорость индексации на сайте. Раздел новостей, новые продукты, многоуровневые меню или ссылки на основные страницы и категории на главной странице — хорошая идея. Если на вашем сайте отсутствуют такие ссылки, стоит задуматься.

    Внешние ссылки

    Сайты, на которых нет ссылок с других сайтов, реже посещаются роботами поисковых систем. Если в последнее время сайт доступен в сети, стоит подумать о получении нескольких или десятков ссылок, которые на него приведут. Это поможет поисковым роботам добраться до сайта и сканировать новый контент.

    Я надеюсь, что эти советы будут полезны, если Google неохотно индексирует изменения или новые страницы. Внедрение изменений в ссылках, получение ссылок или отправка страниц в инструментах Google не займет много времени и может значительно ускорить процесс индексации страниц.

    Подождите пока роботы ПС посетят ваш сайт

    Одно из решений, которое я не рекомендую — это сохранение пассивности. Боты рано или поздно встретят ваш домен, потому что Google и Яндекс периодически ищут DNS-серверы для поиска новых сайтов. Вы можете подождать до 30 дней, чтобы робот посетил сайт. Лучше сразу реагировать и использовать один или даже все вышеперечисленные методы, чтобы отправить свой сайт на индексацию.


    5 наиболее распространенных проблем индексации Google в зависимости от размера веб-сайта

    Google не скрывает, что индексирует не все страницы, которые может найти. Используя консоль поиска Google, вы можете увидеть страницы вашего сайта, которые не проиндексированы.

    Консоль поиска Google также предоставляет полезную информацию о конкретной проблеме, из-за которой страница не может быть проиндексирована.

    К этим проблемам относятся ошибки сервера, ошибки 404 и намеки на то, что на странице может быть неполный или дублированный контент.

    Но мы никогда не увидим данных, показывающих, какие проблемы наиболее распространены во всей сети.

    Итак… Я решил сам собрать данные и составить статистику!

    В этой статье мы рассмотрим наиболее распространенные проблемы с индексацией, из-за которых ваши страницы не отображаются в поиске Google.

    Индексация 101

    Индексирование похоже на создание библиотеки, только вместо книг Google работает с веб-сайтами.

    Если вы хотите, чтобы ваши страницы отображались в поиске, они должны быть должным образом проиндексированы.Проще говоря, Google должен найти их и сохранить.

    Затем Google может проанализировать их содержание, чтобы решить, для каких запросов они могут быть актуальны.

    Индексирование является необходимым условием для получения органического трафика от Google. Чем больше страниц вашего сайта индексируется, тем больше у вас шансов появиться в результатах поиска.

    Вот почему вам очень важно знать, может ли Google индексировать ваш контент.

    Вот что я сделал для выявления проблем с индексированием

    В мои повседневные задачи входит оптимизация веб-сайтов с технической точки зрения SEO, чтобы сделать их более заметными в Google, и в результате у меня есть доступ к нескольким десяткам сайтов в Google Search Console.

    Я решил использовать это, чтобы, надеюсь, сделать популярные проблемы с индексацией… ну, менее популярными.

    Для прозрачности я разбил методологию, которая привела меня к некоторым интересным выводам.

    Методология

    Я начал с создания выборки страниц, объединив данные из двух источников:

    • Я использовал данные наших клиентов, которые были мне легко доступны.
    • Я попросил других специалистов по поисковой оптимизации поделиться со мной анонимными данными, опубликовав опрос в Твиттере и связавшись напрямую с некоторыми оптимизаторами.

    оптимизаторов, мне нужно 3-10 минут вашего времени.
    Можете ли вы помочь мне с исследованием индексации и поделиться со мной некоторыми неконфиденциальными статистическими данными GSC?
    Когда я найду интересные идеи, я опубликую об этом статью.

    Заранее спасибо! Пожалуйста, R/T

    🙏🙏 https://t.co/vAwMulQtsx

    — Томек Рудзки (@TomekRudzki) 9 ноября 2020 г.

    Оба оказались полезными источниками информации.

    За исключением неиндексируемых страниц

    В ваших интересах не индексировать некоторые страницы.К ним относятся старые URL-адреса, статьи, которые больше не актуальны, параметры фильтрации в электронной торговле и многое другое.

    Веб-мастера могут убедиться, что Google их игнорирует, несколькими способами, включая файл robots.txt и тег noindex.

    Принятие во внимание таких страниц отрицательно повлияет на качество моих выводов, поэтому я удалил из выборки страницы, отвечающие любому из следующих критериев:

    • Заблокировано файлом robots.txt.
    • Помечен как noindex.
    • Перенаправлено.
    • Возврат кода состояния HTTP 404.

    За исключением неценных страниц

    Чтобы еще больше улучшить качество моей выборки, я рассмотрел только те страницы, которые включены в карты сайта.

    Исходя из моего опыта, карты сайта являются наиболее четким представлением ценных URL-адресов данного веб-сайта.

    Конечно, есть много веб-сайтов, у которых в картах сайта есть мусор. Некоторые даже включают одни и те же URL-адреса в свои карты сайта и файлы robots.txt.

    Но я позаботился об этом на предыдущем шаге.

    Категоризация данных

    Я обнаружил, что популярные проблемы с индексацией зависят от размера веб-сайта.

    Вот как я разделил данные:

    • Небольшие сайты (до 10 тыс. страниц).
    • Средние сайты (от 10к до 100к страниц).
    • Крупные сайты (до миллиона страниц).
    • Огромных сайтов (более 1 миллиона страниц).

    Из-за различий в размерах сайтов в моей выборке мне пришлось найти способ нормализовать данные.

    Один очень большой веб-сайт, борющийся с определенной проблемой, может перевесить проблемы, которые могут возникнуть на других, более мелких веб-сайтах.

    Поэтому я просмотрел каждый веб-сайт в отдельности, чтобы разобраться с проблемами индексации, с которыми они сталкиваются. Затем я присвоил баллы проблемам индексации в зависимости от количества страниц, затронутых данной проблемой на данном веб-сайте.

    И вердикт…

    Вот пять основных проблем, которые я нашел на веб-сайтах всех размеров.

    1. Просканировано — в настоящее время не проиндексировано (проблема качества).
    2. Дублированный контент.
    3. Обнаружено — в настоящее время не проиндексировано (проблема с бюджетом сканирования/качеством).
    4. Мягкий 404.
    5. Проблема со сканированием.

    Давайте разберем их.

    Качество

    Проблемы с качеством включают в себя недостаточное содержание ваших страниц, вводящие в заблуждение или чрезмерно предвзятые.

    Если на вашей странице нет уникального ценного контента, который Google хочет показать пользователям, вам будет трудно его проиндексировать (и не стоит удивляться).

    Дублированный контент

    Google может распознать некоторые из ваших страниц как дублированный контент, даже если вы этого не хотели.

    Распространенной проблемой являются канонические теги, указывающие на разные страницы. В результате исходная страница не индексируется.

    Если у вас есть дублированный контент, используйте атрибут канонического тега или переадресацию 301.

    Это поможет вам убедиться, что одни и те же страницы вашего сайта не конкурируют друг с другом за просмотры, клики и ссылки.

    Бюджет сканирования

    Что такое краулинговый бюджет? В зависимости от нескольких факторов робот Googlebot будет сканировать только определенное количество URL-адресов на каждом веб-сайте.

    Это означает, что оптимизация жизненно важна; не позволяйте ему тратить свое время на страницы, которые вам не нужны.

    Мягкие 404s

    Ошибка 404 означает, что вы отправили на индексацию удаленную или несуществующую страницу. Мягкие 404 отображают информацию «не найдено», но не возвращают серверу код состояния HTTP 404.

    Распространенной ошибкой является перенаправление удаленных страниц на другие, нерелевантные.

    Множественные перенаправления также могут отображаться как программные ошибки 404. Стремитесь максимально сократить цепочки переадресации.

    Ошибка сканирования

    Есть много проблем со сканированием, но важной из них является проблема с robots.txt. Если робот Googlebot найдет файл robots.txt для вашего сайта, но не сможет получить к нему доступ, он вообще не будет сканировать сайт.

    Наконец, давайте посмотрим на результаты для разных размеров веб-сайтов.

    Небольшие веб-сайты

    Объем выборки: 44 сайта

    1. Просканировано, в настоящее время не проиндексировано (проблема с качеством или бюджетом сканирования).
    2. Дублированный контент.
    3. Проблема с бюджетом сканирования.
    4. Мягкий 404.
    5. Проблема со сканированием.

    Средние веб-сайты

    Объем выборки: 8 сайтов

    1. Дублированный контент.
    2. Обнаружен, в настоящее время не проиндексирован (проблемы с бюджетом сканирования/качеством).
    3. Просканировано, в настоящее время не проиндексировано (проблема качества).
    4. soft 404 (проблема качества).
    5. Проблема со сканированием.

    Крупные веб-сайты

    Объем выборки: 9 сайтов

    1. Просканировано, в настоящее время не проиндексировано (проблема качества).
    2. Обнаружен, в настоящее время не проиндексирован (проблемы с бюджетом сканирования/качеством).
    3. Дублированный контент.
    4. Мягкий 404.
    5. Проблема со сканированием.

    Огромные сайты

    Объем выборки: 9 сайтов

    1. Просканировано, в настоящее время не проиндексировано (проблема качества).
    2. Обнаружен, в настоящее время не проиндексирован (проблемы с бюджетом сканирования/качеством).
    3. Дублированный контент (дублированный, отправленный URL-адрес не выбран в качестве канонического).
    4. Мягкий 404.
    5. Проблема со сканированием.

    Основные выводы по общим вопросам индексации

    Интересно, что, согласно этим выводам, два размера веб-сайтов страдают от одинаковых проблем. Это показывает, насколько сложно поддерживать качество в случае больших веб-сайтов.

    • Больше 100 тыс., но меньше 1 миллиона.
    • Более 1 миллиона.

    Выводы, однако, таковы:

    • Даже относительно небольшие веб-сайты (более 10 000) могут быть проиндексированы не полностью из-за недостаточного краулингового бюджета.
    • Чем больше веб-сайт, тем острее становятся проблемы с бюджетом/качеством сканирования.
    • Проблема с дублированием содержимого является серьезной, но ее характер меняется в зависимости от веб-сайта.

    П.С. Примечание о неизвестных URL-адресах для Google

    Во время своего исследования я понял, что есть еще одна распространенная проблема, которая препятствует индексации страниц.

    Возможно, он не заслужил своего места в рейтинге выше, но по-прежнему важен, и я был удивлен, увидев, что он по-прежнему так популярен.

    Я говорю о страницах-сиротах.

    Некоторые страницы вашего веб-сайта могут не иметь внутренних ссылок, ведущих на них.

    Если робот Googlebot не может найти страницу на вашем веб-сайте, он может вообще ее не найти.

    Какое решение? Добавьте ссылки со связанных страниц.

    Вы также можете исправить это вручную, добавив потерянную страницу в карту сайта.К сожалению, многие веб-мастера до сих пор пренебрегают этим.

    Дополнительные ресурсы:

    Руководство по индексированию вашего сайта Google

    Индекс Google — это огромная база данных, в которой Google хранит информацию о каждой веб-странице в Интернете. Google документирует всю информацию о сайте, «сканируя» Интернет в поисках новых страниц и веб-сайтов. Поисковая система анализирует каждую веб-страницу и каталогизирует ее содержимое, чтобы понять, о чем эта страница. То, где Google индексирует страницу, может определить ее рейтинг на страницах результатов поисковой системы (SERP).

    Владельцы веб-сайтов могут влиять на то, как Google индексирует их страницы. Можно улучшить индекс поиска Google, оптимизировав контент на вашем веб-сайте. Чем больше вы знаете о том, как Google индексирует сайты, тем выше ваши шансы улучшить свои позиции. Индексация Google и поисковая оптимизация (SEO) — не совсем одно и то же, но у них много общего. Решение SEO улучшит ваш индекс Google в расширении. Вот что вам нужно знать.

    Что ищет Google при сканировании?

    Google постоянно ищет новые страницы для добавления в поисковый индекс Google («сканирует») с помощью поисковых роботов или ботов.Сканирование часто начинается на одной веб-странице и переходит на другую по ссылкам на новые страницы. В других случаях владельцы веб-сайтов отправляют карты сайта, чтобы помочь Google индексировать сайты. Целесообразно сообщать Google, если вы добавляете новые страницы или обновляете страницы, которые он просканировал ранее, особенно если вы вносите изменения для оптимизации своей позиции в поисковой выдаче. Следующие аспекты учитываются Google при сканировании веб-страниц:

    • Ключевые слова
    • Грамматика и правописание
    • Свежесть сайта
    • Заголовок страницы, тег заголовка и субтитры
    • Метаописания и теги
    • Подписи к изображениям/альт-теги
    • Содержание страницы

    Несмотря на то, что для целей SEO важно иметь на своем веб-сайте высококачественные изображения, обязательно сопровождайте изображения соответствующими тегами alt.Поисковые роботы Google «Паук» не могут видеть изображения, но они могут видеть контент, связанный с изображениями. Используйте ключевые слова, чтобы описать свои фотографии и видео для лучшего веб-сканирования. Если есть что-то, что вы не хотите, чтобы Google сканировал, прикрепите текстовый файл robots.txt к своему серверу. Перечислите страницы, которые Google не должен сканировать, с помощью команды «Запретить».

    Как убедиться, что Google сканирует ваши страницы

    При первом создании нового веб-сайта создайте и отправьте карту сайта в Google. Это ускорит процесс сканирования и гарантирует, что Google увидит ваш новый сайт.Убедитесь, что вы придерживаетесь ожидаемого стандартного протокола карты сайта для облегчения сканирования. Если вы добавляете только одну страницу или вносите изменения в одну страницу, отправьте в Google только один URL. Вы также можете прикрепить свою новую веб-страницу к существующим страницам, которые Google уже просканировал, хотя вы должны следовать рекомендациям Google для веб-мастеров, чтобы поисковая система перешла по вашей ссылке.

    Вы как владелец сайта можете предоставить подробные инструкции о том, как сканировать сайт, запросить повторное сканирование обновленной страницы или полностью отказаться от сканирования Google.Обратите внимание, что Google не будет принимать плату за сканирование сайтов чаще, чем другие. Google сканирует все веб-страницы с одинаковой частотой, чтобы обеспечить положительный пользовательский опыт. Вы несете ответственность за то, чтобы Google сканировал новые страницы, которые вы добавляете на свой веб-сайт. В противном случае ваши страницы могут не отображаться в результатах веб-поиска.

    По умолчанию веб-сайты на таких серверах, как Wix и WordPress, автоматически попадают в поисковый индекс Google. Владельцы сайтов могут изменить свои настройки сканирования, чтобы не сканировать или сканировать только жизненно важные аспекты своих веб-сайтов.Обычная практика для улучшения рейтинга сайта в поисковой выдаче — позволить Google индексировать только важные части сайта. Архивы, такие как категории блогов, например, не обязательно нуждаются в сканировании. Выберите и выберите, что вы хотите, чтобы Google сканировал, чтобы помочь улучшить ваш рейтинг.

    Как улучшить свой рейтинг в индексе Google

    Если вы загружаете контент, но пользователи его не видят, у вас могут возникнуть проблемы со сканированием. Google мог не добавить вашу страницу в индекс, что сделало ее практически невидимой для поисковых пользователей.Вы должны предпринять шаги для оптимизации своего контента, улучшения взаимодействия с пользователем и включения в поисковый индекс Google, чтобы улучшить видимость вашего веб-сайта. Другими словами, вы должны использовать передовые методы поисковой оптимизации, чтобы изменить свое место в индексе Google. Следующие советы могут помочь:

    1. Оптимизируйте свое доменное имя. По возможности убедитесь, что доменное имя веб-страницы включает выбранные вами ключевые слова для вашей аудитории. Домены с положительным рейтингом в поисковой выдаче показывают более высокую скорость сканирования.
    2. Получайте качественные обратные ссылки. Обратные ссылки на ваш веб-сайт с авторитетных, заслуживающих доверия и авторитетных сайтов могут показать Google, что ваш сайт находится в одном ряду с известными сайтами. Получение хороших обратных ссылок может доказать, что у вас есть высококачественный контент.
    3. Используйте только оригинальный контент. Никогда не дублируйте контент, даже если вы переносите его с одной веб-страницы на другую. Дублированный контент, даже если технически он не является плагиатом другого автора или компании, может серьезно повредить вашему индексу Google.
    4. Используйте все элементы страницы. Делайте все возможное с элементами веб-страницы, которые Google будет сканировать. Другими словами, не оставляйте тег заголовка, мета-описание или другие важные части вашего сайта пустыми. Придумайте отличный контент, включающий ключевые слова.
    5. Всегда оставайтесь актуальными. Google использует поисковые алгоритмы для сортировки индекса Google и поиска наиболее релевантных страниц, соответствующих запросу пользователя. Постоянно обновляйте свой веб-сайт, публикуйте новые блоги и следите за тем, чтобы ваш контент отображался на первой странице поисковой выдачи.

    Как видите, SEO и индексация Google имеют много общего. Если вы преуспеете в одном, вы, как правило, достигнете другого. Не позволяйте Google индексировать сайт самостоятельно. Нет никакой гарантии, что поисковые роботы Google когда-либо увидят ваш сайт, если вы не отправите карту сайта. Будьте активны в сканировании и индексации сайта, чтобы занять как можно более высокое место в поисковой выдаче. Только тогда вы сможете добиться максимальной видимости бренда во время поиска пользователей.

    Получите профессиональную помощь в SEO

    Если вы не хотите, чтобы бремя картографирования сайта, оптимизации поискового индекса Google, обновлений веб-сайта, исследования ключевых слов и других ключевых аспектов SEO лежало на вашей тарелке как владельца бизнеса, доверьте эти процессы профессионалам Vizion Interactive.Наши проверенные услуги SEO могут помочь вам освоить поисковые роботы Google и занять первое место в индексе и поисковой выдаче — органически. Мы используем лучшие технологии, процессы и методы для улучшения и поддержания узнаваемости бренда. Свяжитесь с нами, чтобы изучить весь спектр наших SEO-услуг.

    У нас в Vizion Interactive есть знания, опыт и энтузиазм, чтобы добиваться результатов и радовать клиентов! Узнайте больше о том, как наши SEO-аудиты, управление местными листингами, консультации по редизайну веб-сайтов и услуги цифрового маркетинга B2B могут увеличить продажи и повысить рентабельность инвестиций.Но не просто верьте нам на слово, ознакомьтесь с тем, что говорят наши клиенты, а также с нашими примерами из практики.

    Быстрое индексирование вашего веб-сайта с помощью отчетов об исправлении покрытия индекса Google

    Ускорение индексации вашего веб-сайта с помощью отчета об исправлении покрытия индекса Google

    Обновлено 19.07.2021

    Благодаря тому, что Google улучшил нашу способность использовать живое

    тестирование для технических исправлений SEO , а также сократил время ожидания повторного сканирования веб-страниц, отправленных для повторного индексирования, вы можете быстрее реагировать на предпочтения пользователей.

    Все четыре ведущие поисковые системы — Google, Bing, Yahoo и Yandex — страстно стремятся понять, чего хотят люди, которые ищут информацию в Интернете. Это требует более глубокого процесса, чем когда-либо прежде, чтобы мгновенно предоставлять лучшие результаты конечным пользователям, понимая их намерения так же, как то, что они вводят в поле поиска или говорят. Но, например, если ваша веб-страница, предоставляющая идеальное решение, имеет неправильно реализованные структурированные данные , она может даже не быть проиндексирована Google так, как вы этого хотите.Аудит, направленный на проверку структурированных данных вашего сайта , также поможет индексировать наши страницы.

    Давайте углубимся в ответы на ваши вопросы.

    Что такое отчет об исправлении покрытия индекса Google?

    В отчете об исправлении покрытия индекса Google подробно описывается статус индексирования всех URL-адресов, которые робот GoogleBot посещал или пытался посетить в указанном свойстве Google Seach Console. На сводной странице показаны результаты для всех URL-адресов для каждого свойства.Они хорошо сгруппированы по ошибке, предупреждению или допустимому статусу. Он также указывает причину этого состояния, что особенно полезно для ошибок «не найдено» (404).

    Сегодня отчет об исправлении покрытия индекса Google — это еще одна экспериментальная функция Google Search Console, которую вскоре обещают показать избранной группе бета-пользователей.

    Это помогает сначала понять, что такое SEO на самом деле .

    Как узнать, есть ли мой мобильный сайт в индексе Google?

    Вы можете проверить действующий URL в Search Console.Проверьте, может ли страница AMP быть проиндексирована, выполнив следующие действия:

    • Перейдите к соответствующему свойству в GSC.
    • Откройте инструмент проверки URL-адресов Google.
    • Вырезать и вставить текущее состояние индекса определенного URL-адреса.
    • Посмотрите, написано ли «Покрытие — отправлено и проиндексировано».
    • Ниже этого проверьте, написано ли «Действительна связанная версия AMP».
    • Вы можете как «ПРОВЕРИТЬ РЕАЛЬНЫЙ URL», так и «ЗАПРОСИТЬ ИНДЕКСИРОВАНИЕ».
    • Вы также можете использовать инструмент проверки страниц AMP от Google

    Независимо от того, являетесь ли вы бизнесом, обслуживающим аудиторию B2B или клиентов B2C, управляйте тем, как ваши страницы индексируются и сканируются, чтобы выжить в Интернете.

    Барьеры, с которыми сталкиваются цифровые маркетологи при получении информации о данных

    Ведущие маркетологи усердно работают над тем, чтобы каждая веб-страница правильно индексировалась Google, и добились успеха, когда они могут лучше всего найти и интегрировать собранные данные в стратегии для улучшения.

    В статье от 21 июня 2017 г. под названием «Вместе лучше: почему интеграция стратегии данных, команд и технологий ведет к успеху в маркетинге» подчеркивалась необходимость помощи в понимании данных сайта в Search Console.Кейси Кэри заявил, что «75% маркетологов говорят, что самым большим препятствием для использования анализа данных является отсутствие образования и обучения работе с данными и аналитикой».

    В течение многих лет специалисты по поиску стремились получить от Google список, показывающий, какие страницы проиндексированы, а какие нет. Сегодня, с большой благодарностью, мы находимся на пороге получения этого прямо из Search Console нашего клиента.

    Что такое индексирование поисковыми системами?

    Поисковая система индексирует, собирает, анализирует и сохраняет веб-данные, чтобы сделать возможным быстрый и точный поиск информации.«Дизайн индекса включает междисциплинарные концепции из лингвистики, когнитивной психологии, математики, информатики и информатики. Альтернативное название процесса в контексте поисковых систем, предназначенных для поиска веб-страниц в Интернете, — веб-индексация», — говорится в Википедии.

    Отчет о покрытии индексом показывает количество проиндексированных страниц

    Какие конкретные данные предоставляет отчет об охвате индекса Search Console?:

    * Количество действительных страниц вашего сайта, которые он индексирует

    * Сколько страниц с ошибками

    * Количество страниц с предупреждениями

    * Уровни информационных данных

    * Количество показов проиндексированных страниц.

    Какой тип информационных данных будет извлекать отчет?

    Алгоритмы Google имеют продвинутые методы передачи информационных данных. Структурированные данные схемы широко используются поисковым гигантом для сбора информации из семантического контента сайта, чтобы лучше сопоставлять страницы с релевантными поисковыми запросами пользователей. Он использует данные, чтобы нарисовать картину того, из чего состоит веб-сайт. Расширенные сниппеты — это дополнительные визуальные элементы информации, отображаемые в результатах поиска.

    В мае компания представила Data GIF Maker, онлайн-инструмент, предназначенный для упрощения процессов отображения относительного интереса между двумя темами на основе данных, полученных из тенденций поиска Google в Интернете или других надежных источников данных.Кроме того, Google завершил автоматизацию преобразования данных в визуальные. Одним из примеров является Infogram, редактор, который преобразует информацию из пользовательских данных в инфографику для публикации. На данный момент нам нужно многое узнать о том, как это будет заполнять данные, и обо всех способах их использования для улучшения индексации вашего сайта.

    Поскольку Google ориентируется на то, что хотят пользователи, если в отчете указано, что страница действительна, но имеет статус «низкий интерес к индексу», возможно, вы захотите рассмотреть возможность ее оптимизации.Google продолжает находить и индексировать контент еще быстрее, чем сейчас. Ранее мы видели, что по этой причине они ввели бета-тестирование API индексации в реальном времени.

    Google уведомит вас о ходе повторного сканирования

    Получение этих функций Search Console может сократить часть ручной работы оптимизаторов поисковых систем. Джон Мюллер из Google говорит нам ****, что это так просто: «После того, как вы устраните основную проблему, нажмите кнопку, чтобы подтвердить исправление, и Google повторно просканирует страницы, затронутые этой проблемой.Google уведомит вас о ходе повторного сканирования и обновит отчет по мере проверки ваших исправлений».

    Новая функция Google «Отчет о покрытии индекса» в его консоли поиска упрощает поиск ошибок SEO на розничных страницах AMP . Сгруппированные по типу ошибки, веб-мастера могут глубже изучить конкретную ошибку кодирования. Кнопка подтвердит, что проблема решена после исправления затронутых страниц; затем затронутые URL-адреса могут быть повторно просканированы роботом GoogleBot и отмечены как исправленные.Последующие отчеты о ходе выполнения, показывающие Big Data результаты повторного исследования таких страниц, мы надеемся, сделают процесс устранения этих ошибок более быстрым.

    SEO-специалисты могут быстрее индексировать страницы, чтобы удовлетворить потребности пользователей

    Раньше наши консоли поиска Google не предоставляли постраничную разбивку статистики сканирования сайта с удобным списком проиндексированных страниц. Чтобы получить необходимые данные, многим специалистам по поисковой оптимизации пришлось изучить журналы серверов, использовать специализированные инструменты и потратить массу времени на изучение SEO-отчетов Analytics .

    Определение краулингового бюджета сайта и способов его увеличения — более простая SEO-задача, когда мы можем видеть внутренние ссылки на них, статистику краулинга и ошибки, препятствующие индексации.

    После перехода на проиндексированную веб-страницу контент теперь должен предоставлять пользователям положительный опыт , иначе они быстро уйдут и отправятся к кому-то другому за ответом. Глубина способности SEO-специалиста понимать вовлеченность пользователей напрямую коррелирует со степенью сложности, с которой сталкивается бизнес, чтобы занять первые позиции в результатах поиска.

    Поскольку машины продолжают обучаться, чтобы стать умнее, человеческая логика по-прежнему играет свою роль, активно обучаясь, читая индексированные отчеты и применяя лучшие стратегии. У вас мало времени, чтобы попробовать их все , прежде чем ландшафт поиска снова изменится . Какой эксперт по SEO не любит получать советы о том, как исправить проблемы с индексацией прямо из Google!

    SEO-специалисты, которые больше внимания уделяют анализу данных, а не реагированию на «то, что мы думаем», становятся приоритетом для получения результатов, которые работают и радуют ведущих руководителей отдела маркетинга.Знайте, откуда приходят ваши деловые клиенты, с какими веб-страницами пользователи взаимодействуют чаще всего и какие решения они ищут, что вы можете предложить, чтобы получить конкурентное преимущество в Интернете .

    Влияние отсутствия индексации страниц на бизнес

    Вы не сможете

    повысить доверие к своему сайту, если ваши веб-страницы не проиндексированы.

    Мы по-разному строим деловые отношения. Интернет изменил то, как мы формируем новые связи и поддерживаем отношения с клиентами, а также с деловыми партнерами, друзьями, семьей, известными людьми и знакомыми.Теперь, когда люди могут взаимодействовать друг с другом, даже не встречаясь лично, и информировать друг друга и покупателей о новых продуктах, уровнях запасов, обзорах и решениях, знание того, как люди взаимодействуют с онлайн-контентом, имеет важное значение для роста бизнеса. Отличным примером является ваш шанс получить значительную видимость в форматах карусели новых продуктов в поисковой выдаче .

    Google стремится предоставить полезную информацию, которая поможет быстрее исправить код и упростить индексацию страниц и возможность сканирования.Это, в свою очередь, означает, что пользователи, которые ищут связанный контент, имеют больше шансов использовать эти проиндексированные страницы.

    Google, скорее всего, примет к сведению ваш обзор и реализацию структурированных данных о продукте при индексировании вашей веб-страницы. Как и в случае с большинством новых функций, это может развиваться со временем после получения отзывов от пользователей. Google не распознает фиксированный контент мгновенно, но эта новая функция Search Console предназначена для сокращения времени ожидания повторной индексации страницы.Если ошибки схемы повлияли на вероятность индексации страницы, он может обратить внимание на вашу разметку при индексации вашего сайта в следующий раз. Не забудьте уведомить Google об устранении проблем с веб-контентом или кодированием.

    Веб-мастера должны следить за ошибками индексации своего сайта, так как слишком большое количество ошибок может потенциально сигнализировать Google о низком показателе работоспособности вашего сайта или о том, что он плохо управляется и поддерживается. Часто малые предприятия чувствуют себя слишком переутомленными, чтобы вкладывать средства в текущее обслуживание сайта, поэтому они просто игнорируют свои отчеты об ошибках или забывают помечать ошибки как исправленные.Любой может быть ошеломлен, если вдруг заметит очень длинный список ошибок. Быстро очистите свой список от любых ошибок индексации и запланируйте своевременное наблюдение и поддержание его в чистоте. Сайтам здравоохранения, предоставляющим основные услуги для пациентов , необходимо предпринять дополнительные шаги, чтобы обеспечить правильную индексацию этих страниц.

    Интернет-пользователи постоянно подключены для принятия решений о покупках

    Появление новых устройств и улучшенная мобильная связь означают, что средний американец имеет мгновенный доступ к Интернету.Покупатели больше не привязаны к настольным компьютерам; они могут выходить в интернет, разговаривая с Google Home, Siri или Amazon Echo в любом месте и в любое время, что оказывает заметное влияние на производительность веб-сайта. Независимо от того, имеют ли ваши страницы чистый код, повышающий шансы на индексацию, или их можно быстро найти с помощью алгоритма мобильного поиска , в голосовом поиске и поиске изображений это имеет большее значение, чем когда-либо прежде.

    Например, ношение Apple Watch со смартфоном в кармане сейчас стало обычным делом.Это создало потребность в почти постоянно доступных данных и правильной информации, которая нужна пользователям. Если ваша веб-страница предлагает наилучшее решение, но даже не сканируется Google , возможно, ваш бизнес упускает возможность легких продаж. Люди живут, твитят, публикуют и делятся все время. Это может быть то, что они подслушают на прогулке, посетив деловое мероприятие или выскажут полезное мнение о продукте.

    Недавно я был на свадьбе, где огромная красивая выгравированная вывеска приветствовала участников «Свадьбы без подключения к розетке».В то время как люди могут активно препятствовать документированию социальных сетей на смартфонах во время таких торжеств, как этот, компании обычно хотят, чтобы мобильные пользователи взаимодействовали с ними 24 часа в сутки, 7 дней в неделю.

    Быстрое исправление ваших веб-страниц с ошибками для переиндексации сумм в реальные доллары в банке для тех, кто продает как товары, так и услуги в цифровом пространстве. Но прежде чем переделать и запросить переиндексацию, проведите фоновое маркетинговое исследование , чтобы увидеть, не отсутствуют ли на странице какие-либо другие ключевые детали.

    Отправка фиксированных URL-адресов в индекс Google

    Google Sitemaps уже давно позволяет веб-мастерам отправлять URL-адреса в индекс Google и информировать Google об изменении этих страниц. Конечно, новая индексация после исправления проблем на страницах с ошибками 404 и страницах с предупреждениями, такими как неработающие перенаправления 301, может быстро увеличить охват сканирования веб-сайта.

    Веб-мастера должны следить за ошибками индексации своего сайта, так как слишком большое количество ошибок может потенциально сигнализировать Google о низком показателе работоспособности вашего сайта или о том, что он плохо управляется и поддерживается. Отслеживайте результаты поиска для мобильных устройств отдельно от результатов поиска для компьютеров. Слишком многие малые предприятия чувствуют себя слишком перегруженными, чтобы вкладывать средства в текущее обслуживание сайта, поэтому они просто игнорируют свои отчеты об ошибках или забывают помечать ошибки как исправленные. Любой может быть ошеломлен, если вдруг заметит очень длинный список ошибок. Быстро очистите свой список от любых ошибок индексации, повторно отправьте каждый URL-адрес и запланируйте своевременное отслеживание и поддержание чистоты этого нового списка ошибок индексации (как только он станет доступен для всех).

    Вполне возможно, что отчет о покрытии индекса будет больше использоваться людьми с базовыми навыками SEO. Лица, имеющие доступ к файлам журналов сервера и знакомые с решением сложных проблем индексации, могут найти этот сводный отчет более удобным.

    Google хочет лучше отображать и индексировать мобильный контент

    В обновлении от 23 июля 2017 г. для Руководства по поиску Google, посвященного распространенным ошибкам , улучшена поддержка распространенных ошибок индексирования, которые допускают многие веб-мастера при разработке дизайна для мобильных устройств.Он устраняет заблокированные файлы JavaScript, CSS и изображения, которые препятствуют оптимальному рендерингу и мобильной индексации. Нам дано указание «всегда разрешать роботу Googlebot доступ к файлам JavaScript, CSS и изображениям, используемым на вашем веб-сайте, чтобы робот Googlebot мог видеть ваш сайт так, как его видит обычный пользователь. Если файл robots.txt вашего сайта запрещает сканирование этих ресурсов, это напрямую вредит тому, насколько хорошо наши алгоритмы отображают и индексируют ваш контент. Это может привести к субоптимальному ранжированию».

    Разработчики также предупреждены о том, что межстраничные объявления для загрузки приложений могут привести к проблемам с индексацией мобильных устройств.«Многие веб-мастера продвигают нативные приложения своего бизнеса среди посетителей мобильных сайтов. Если не сделать это с осторожностью, это может вызвать проблемы с индексацией и нарушить использование сайта посетителем», — говорится в сообщении.

    Google также призывает разработчиков приложений использовать индексирование приложений, чтобы избежать распространенных ошибок мобильного индексирования; «Если у вас есть приложение для Android, рассмотрите возможность индексации приложений: когда проиндексированный контент из вашего приложения релевантен определенному запросу, мы покажем кнопку «Установить» в результатах поиска, чтобы пользователи могли загрузить его и перейти прямо на определенную страницу в ваше приложение.«Это также ссылка на статью о том, как заставить ваши мобильные страницы отображаться менее чем за одну секунду; что может коррелировать скорость мобильной загрузки с лучшей индексацией. Проиндексировать ваши страницы — это одно из препятствий, но когда они загружаются так медленно, что пользователи даже не ждут, чтобы их прочитать, — это еще одна проблема, которую нужно решить.

    Так как все больше и больше поисковых запросов возникает, когда кто-то хочет получить немедленный ответ, убедитесь, что ваши веб-страницы, которые могут предоставить быстрые ответы , проиндексированы. Цель поиска влияет на путь потребителя в каждой точке взаимодействия .

    Функция Fetch as GoogleBot ускоряет индексирование страниц

    Еще один способ ускорить индексацию вашего веб-сайта с помощью Google — использовать функцию Fetch as Google для веб-мастеров Google. Если ваш веб-сайт отличается высоким качеством и имеет хороший информативный контент, он должен помочь проиндексировать представленные страницы в течение от нескольких минут до нескольких часов максимум.

    Новая функция «Исправление покрытия индекса» предназначена для того, чтобы помочь некоторым веб-сайтам, на которых отсутствуют ошибки индексации, лучше их обнаруживать.Весь поиск Google по сути начинается с URL-адресов сайта. Джон Мюллер из Google говорит : «Мы выходим в Интернет, чтобы отображать эти URL-адреса, вроде как в браузере, и контент, который мы там получаем, мы принимаем для индексации».

    Всегда старайтесь следовать Общим рекомендациям Google; по логике вещей, это поможет Google быстрее находить, индексировать и ранжировать ваш сайт. Если вы непреднамеренно обнаружите, что ваш веб-сайт был полностью удален из индекса Google или иным образом пострадал в результате алгоритмического или ручного спама, быстро предпримите действенные меры, чтобы он появился в результатах поиска Google.com или на любом из партнерских сайтов Google. Убедитесь, что ваш код действительно отображает и поддерживает индексирование. Для местного пешеходного трафика также добавление разметки Local Business schema поможет вашему бизнесу найти .

    Отличный контент расширяет список проиндексированных страниц вашего веб-сайта

    Органический поисковый трафик имеет решающее значение для увеличения списка проиндексированных страниц вашего веб-сайта и роста доходов бизнеса . По нашему опыту, это обычно источник более половины всего трафика сайта по сравнению с 7% из социальных сетей.Некоторые исследования сообщают, что около 33% среднего трафика сайта можно отнести непосредственно к органическому поиску, в то время как другие утверждают, что это ближе к 64% вашего веб-трафика.

    Но эта статистика отражает только среднее значение; если ваш сайт вообще не отображается в индексе Google или Google Discover , вы не можете ожидать хорошей видимости в поисковой выдаче. Чтобы новый сайт или блог проиндексировался быстрее, вам нужно будет выделить больше ресурсов, чтобы направить их на повышение коэффициента конверсии, расширение вашего присутствия в социальных сетях и, естественно, на написание и продвижение отличного и полезного контента, который будет проиндексирован.Чтобы повысить ценность вашего контента, начните с анализа поведения потребителей ; затем убедитесь, что ваш новый контент индексируется быстро и правильно.

    Какие преимущества получает SEO-оптимизатор от нового рабочего процесса индексирования?

    * Возможность быстрее находить, исправлять и проверять необходимые исправления SEO .

    * Если вы хотите предотвратить индексацию страниц с низкой или нулевой SEO-ценностью, вы также можете проверить в визуальном отчете, что они не проиндексированы.Если была проделана работа по выявлению определенных параметров URL в Google Search Console, чтобы Google не сканировал и не индексировал одни и те же страницы с разными параметрами по отдельности, это следует указать.

    * Если ваши CSS-файлы вызывают проблемы, препятствующие индексации страницы, Google не сможет увидеть страницы так, как вы хотите, и проиндексировать их. Приведенные примеры предназначены для сокращения времени диагностики.

    * Еще одна частая проблема — ваш JS не сканируется.Благодаря улучшенным отчетам об ошибках индексирования быстрые исправления помогут Google проиндексировать динамически создаваемый контент вашего сайта.

    * Отправьте карту сайта прямо здесь.

    * Отфильтруйте данные о покрытии индекса, чтобы быстро изучить отдельные карты сайта.

    * Хотя задачи по индексации вашего сайта должны быть нацелены на все основные поисковые системы (Google, Bing, Яндекс, Yahoo и т. д.), получение справки из этого нового отчета об ошибках индексации Search Console повысит ваши шансы на лучшую индексацию во всех них.

    Текущая проверка статуса индекса вашего веб-сайта

    На что постоянно обращать внимание при диагностике состояния индекса и что нужно быстро исправить:

    • Количество проиндексированных страниц сайта должно отражать согласованность , постоянно увеличиваясь. Если это так, это означает, что Google может проиндексировать ваш сайт и что вы повышаете рейтинг своего сайта, добавляя свежий проиндексированный контент. Найдите и устраните ошибки индексации, когда новые страницы не добавляются к индексируемому числу.

    • Обратите внимание на любые неожиданные и экстремальные падения на графике проиндексированных страниц. Этот новый дополнительный отчет об индексации поможет веб-мастерам найти и исправить, где у Google возникают проблемы с доступом к вашему сайту.

    • Внезапные и странные пики на графике проиндексированных страниц. Будь то проблема с дублированием контента как с www, так и без www индексируемых страниц, или с неправильными каноническими индексами, или с потенциальным взломом, это сигнализирует о необходимости принять меры.

    Как выглядят и работают новые отчеты об индексировании Search Console

    Веб-разработчики и оптимизаторы с нетерпением ждут этих новых отчетов и используют их для улучшения веб-сайтов.Глен Гейб, президент G-Squared Interactive LLC, 7 сентября 2017 года в статье на LinkedIn опубликовал несколько снимков экрана из нового отчета об индексировании в Google Search Console* (GSC).

    Если вы считаете, что на вашем сайте есть страницы, которые уже проиндексированы, но еще не отправлены в карты сайта, новый отчет Google об индексировании заполнит недостающие пробелы. Похоже, что до сих пор с ним не было функции экспорта. Это полезно, если вы хотите знать, где вы появляетесь в окнах «Люди также спрашивают» в поисковой выдаче Google .

    Больше всего меня заинтересовал комментарий Гленна «Проиндексировано, но заблокировано robots.txt. Эти URL-адреса на самом деле 404, но Google не может их сканировать, чтобы узнать».

    Общие вопросы об индексировании AMP-страниц

    Вопрос: Если я правильно установил страницы AMP, как долго они будут проиндексированы?

    Ответ: Нет никакой разницы в скорости, с которой Google сканирует и индексирует страницы AMP; сканирование и индексирование происходит на той же странице, что и традиционные страницы рабочего стола.

    Совет: Если ваши AMP-страницы не индексируются или индексируются медленно, возможно, они не проходят проверку правильно. Вернитесь и проверьте их на наличие ошибок, используя отчеты в новой консоли поиска Google. Действительный код обеспечит более успешное сканирование ваших страниц AMP.

    Вопрос: Индексируются ли некоторые типы страниц AMP быстрее, чем другие?

    Ответ: Будь то домашняя страница вашей компании или страница, посвященная информации о продукте, ничто не меняет их структуру.Google полагается на ряд факторов при оценке оптимальной частоты сканирования для каждой страницы, например, на то, как часто обновляется основной контент страницы.

    Подсказка: Обычный процесс начинается со сканирования для индексации и ранжирования; более частая отправка страницы для повторного сканирования не влияет на ее индексацию или рейтинг.

    Вопрос: Следует ли индексировать страницы категорий AMP для версий AMP?

    Ответ: Google обычно не распознает страницу категории продукта или страницу описания продукта для поиска; однако страница категории может предложить возможность найти новые страницы с описанием продукта.

    Совет: Google предупредил, что «динамически генерируемые страницы со списком продуктов могут легко превратиться в «бесконечные пробелы», которые сделают сканирование более трудным, чем необходимо».

    Вопрос: Если страницы продуктов часто обновляются, это кошмар для индексации?

    Ответ: Нет. URL-адрес типа страницы продукта может оставаться постоянным белым, а детали продукта могут часто меняться. Google понимает, что часто продаются уникальные товары. Сюда входят антиквариат, предметы с аукционов, произведения искусства на заказ или рубричные объявления с ограниченным сроком действия.

    Совет: Обновляйте свои карты сайта новыми подробностями описания для каждой страницы продукта.

    Вопрос: Входит ли сканирование моих AMP-страниц в мой краулинговый бюджет?

    Ответ: Да. Сканирование всех элементов, включая AMP, является частью краулингового бюджета сервера и имеет значение для выявления и раскрытия проблем на вашем сайте.

    Совет: Немногие сайты имеют причины для беспокойства по поводу краулингового бюджета; Гугл показывает

    Совет: Когда современный робот GoogleBot сканирует страницу, он также должен извлекать подресурсы.Обычно они включают в себя: JavaScript, CSS, PDF-файлы, изображения и видеоклипов , чтобы полностью понять, что включено в страницу. Сводя ваши вспомогательные документы JS и CSS к минимуму, поскольку количество подресурсов часто намного больше, чем основной документ или визуальные файлы, которые помогают читателю. Хотя ваши изображения могут выглядеть потрясающе в Интернете, они могут быть наиболее эффективными только в том случае, если они соответствуют текущим рекомендациям по изображениям.

    «Google разработал метод, который позволяет маркетологам быстро работать над исправлениями и не тратить время на ожидание повторного сканирования веб-сайта Google только для того, чтобы позже сообщить вам, что он еще не исправлен.” – MediaPost

    «Мы создали механизм, который позволяет вам быстро вносить исправления и не тратить время на ожидание повторного сканирования вашего сайта Google только для того, чтобы позже сообщить вам, что он еще не исправлен. Скорее, мы обеспечим тестирование исправлений на месте и автоматически ускорим сканирование, как только увидим, что все в порядке». – Джон Мюллер

    Что может привести к деиндексации моего сайта?

    По данным Google**, использование одного или нескольких из следующих

    технических приемов SEO может привести к деиндексации вашего веб-сайта:
    • Роботизированный контент.
    • Участие в схемах ссылок.
    • Коварные перенаправления.
    • Скрытые ссылки.
    • Вычищенный и заимствованный контент.
    • Участие в партнерских программах без добавления достаточной стоимости.
    • Создание страниц с вредоносным поведением, например с фишингом или установкой вирусов, троянов или другого вредоносного ПО.
    • Прогон посетителей через заставки или дорвеи.
    • Злоупотребление реализацией кода схемы расширенных фрагментов.
    • Настройка автоматических поисковых запросов в Google.

    Вместо более быстрого ранжирования ваших страниц Google может или будет удалять из результатов поиска веб-сайты, использующие тактику манипулирования. Если вы хотите быстро ранжировать и индексировать свой веб-сайт на странице результатов поисковой системы, сделайте это правильно, придерживаясь рекомендаций Google и используя их надежный набор инструментов. И наоборот, веб-страницы, которые соответствуют рекомендациям Google по оценке качества и предлагают уникальный и качественный контент, с большей вероятностью будут отображаться в избранных фрагментах .

    Получение ясности о том, что связано с индексацией в поисковых системах, также включает в себя Bing, Yahoo и Yandex. Но если Google отправляет вам большую часть вашего веб-трафика, начните с того, что помогает Google быстрее индексировать ваши веб-страницы.

    Владелец Hill Web Marketing, Джинни Хилл имеет многолетний опыт и хорошо зарекомендовавшую себя репутацию за положительные результаты в органическом поиске, поисковой оптимизации, SEM и PPC. Я работаю с клиентами, чтобы помочь их компаниям быстрее сканировать нужные веб-страницы.Знание руководств Google по поисковой оптимизации, диагностике и ремонту сайтов..
    Мне нравится жить в Миннеаполисе, штат Миннесота, где я предоставляю услуги цифрового маркетинга в пригородах и за их пределами. Услуги по ускорению индексации вашего сайта обычно стоят около 1500 долларов.

    Раньше наши консоли поиска Google не предоставляли постраничную разбивку статистики сканирования сайта с удобным списком проиндексированных страниц. Чтобы получить необходимые данные, многим специалистам по поисковой оптимизации приходилось изучать журналы серверов, использовать специализированные инструменты и тратить массу времени. По мере того, как Google Answer Engine продвигает , то же самое происходит и с его богатым набором инструментов в Search Console.

    ОБЗОР

    Определение краулингового бюджета сайта и способов его увеличения — более простая SEO-задача, когда мы можем видеть внутренние ссылки на них, статистику краулинга и ошибки, препятствующие индексации. Список проиндексированных страниц сокращает время повторного сканирования веб-страниц, отправленных на повторную индексацию.

    После столь напряженной работы по подбору контента, подходящего для пользователей, который расширяет возможности вашего продукта, ваши усилия могут оказаться напрасными, и вы можете упустить возможность привлечь людей к вашему сайту и вашему продукту.Люди, которые не могут посетить ваш сайт, если он не проиндексирован должным образом, не имеют возможности узнать, что вы его продаете. Чтобы GoogleBot быстрее индексировал ваш веб-сайт, мы также предлагаем компаниям создать профиль в Google Plus и участвовать в сообществах. Кроме того, поделитесь ссылкой на свой веб-сайт или опубликуйте свою ссылку, создав сообщение непосредственно в своем бизнес-листинге Google. Это еще один способ проиндексировать эти новые страницы, поскольку Google очень быстро переходит по таким ссылкам.

    Мы приветствуем ваши отзывы об этом сообщении, а также ваши идеи относительно любой другой информации, которая может быть полезна нашим читателям по теме индексации веб-сайтов.

    Позвоните по номеру 651-206-2410, чтобы получить услуги, которые
    используют отчеты Google Search Console

     

    * https://www.linkedin.com/pulse/screenshots-from-new-index-coverage-report-google-search-glenn-gab

    ** https://support.google.com/webmasters/answer/35769

    *** https://webmasters.googleblog.com/2017/08/a-sneak-peek-at-two-experimental.html

    Может ли Google правильно сканировать и индексировать JavaScript Framework? SEO-эксперимент JS

    Мы хотели узнать, сколько JavaScript Googlebot может читать, сканировать и индексировать.Для этого мы создали веб-сайт — https://jsseo.expert/. На каждой подстранице был контент, сгенерированный разными фреймворками JavaScript. Мы отслеживали журналы сервера, сканирование и индексирование, чтобы определить, какие фреймворки полностью доступны для сканирования и индексации Google.

    Результаты эксперимента SEO для JavaScript:

    • Встроенный, внешний или встроенный JavaScript имеет огромное значение для робота Googlebot.
    • Если контент отображается в кэше Google, это не означает, что он проиндексирован Google.

    Если вы хотите узнать, какие фреймворки хорошо работают с SEO, но не хотите просматривать документацию по эксперименту, щелкните здесь, чтобы перейти прямо к разделу результатов и просмотреть диаграммы, представляющие данные.

    Почему я создал этот эксперимент

    В последние годы разработчики использовали расширенную технологию JavaScript, полагая, что Google может правильно сканировать и индексировать JavaScript. В большинстве случаев разработчики указывают на это объявление Google как на доказательство того, что технические рекомендации Google разрешают использование веб-сайтов с поддержкой JavaScript.

    Тем не менее, в Интернете есть множество примеров того, как такие решения идут плохо. Один из самых популярных примеров плохого SEO на JavaScript — тематическое исследование Hulu.com.

    Несмотря на то, что существует множество данных и тематических исследований, ясно свидетельствующих о проблемах Google со сканированием и индексацией JavaScript, все больше и больше веб-сайтов запускаются с рендерингом JavaScript на стороне клиента (это означает, что Googlebot или ваш браузер должны обрабатывать JavaScript для просмотра контента). .

    Я считаю, что объявление Google было неправильно понято многими. Позвольте мне объяснить, почему.

    Большинство разработчиков ссылаются на этот раздел сообщения в блоге Google:

    Времена изменились. Сегодня, если вы не запрещаете роботу Googlebot сканировать ваши файлы JavaScript или CSS, мы, как правило, можем отображать и понимать ваши веб-страницы так же, как современные браузеры. Чтобы отразить это улучшение, мы недавно обновили наше техническое руководство для веб-мастеров, чтобы не запрещать роботу Googlebot сканировать файлы CSS или JS вашего сайта.

    В той же статье вы найдете еще несколько довольно интересных, но пропущенных утверждений:

    Иногда во время рендеринга что-то идет не так, что может негативно сказаться на результатах поиска вашего сайта.

    Это всегда хорошая идея, чтобы ваш сайт деградировал изящно. Это поможет пользователям наслаждаться вашим контентом, даже если в их браузере нет совместимых реализаций JavaScript. Это также поможет посетителям с отключенным или отключенным JavaScript, а также поисковым системам, которые еще не могут выполнять JavaScript.

    Иногда код JavaScript может быть слишком сложным или запутанным, чтобы мы могли его выполнить, и в этом случае мы не можем полностью и точно отобразить страницу.

    К сожалению, даже некоторые уважаемые веб-сайты в сообществе разработчиков JavaScript кажутся чрезмерно оптимистичными в отношении способности Google сканировать и индексировать фреймворки JavaScript.

    Источник: https://scotch.io/tutorials/angularjs-seo-with-prerender-io

    Лучшие веб-разработчики хорошо осведомлены о проблемах индексации JavaScript, и если вы хотите увидеть это из первых рук, посмотрите всего несколько минут из видео ниже:

    Jeff Whelpley
    Конференция Angular U, 22–25 июня 2015 г., Hyatt Regency, аэропорт Сан-Франциско
    «Визуализация сервера Angular 2»

    Если вы ищете какие-либо конкурентные ключевые слова, это всегда будут сайты, отображаемые сервером.И причина в том, что, хотя Google и индексирует HTML, отображаемый клиентом, он еще не идеален, и другие поисковые системы не делают этого. Поэтому, если вы заботитесь о SEO, вам все равно нужен контент, отображаемый на сервере.

    Джефф Уэлпли работал с Тобиасом Бошем над серверным рендерингом для Angular 2. Тобиас Бош — инженер-программист в Google, который является частью основной команды Angular и работает над Angular 2.

    К сожалению, мне не удалось найти тематических исследований, документации или четких данных о том, как Google сканирует и индексирует различные фреймворки JavaScript.JavaScript SEO, безусловно, является темой, которая скоро станет очень популярной, но нет ни одной статьи, объясняющей новичкам в JavaScript SEO, как начать диагностику и устранение даже основных проблем JavaScript SEO.

    [ОБНОВЛЕНИЕ: Google признал, что использует Chrome 41 для рендеринга. С тех пор процесс отладки стал намного проще и быстрее.] 

    Этот эксперимент — первый шаг к предоставлению четких и действенных данных о том, как работать с веб-сайтами на основе используемой платформы JS.

    Теперь, когда мы обсудили, зачем нужен этот тест, давайте посмотрим, как мы его настроили.

    Настройка веб-сайта

    Первым шагом было создание простого веб-сайта, каждая подстраница которого создается отдельной структурой. Поскольку я не являюсь разработчиком JavaScript, я обратился к своему хорошему другу и самому умному специалисту по JavaScript, которого я знаю, — Камилю Гримузе. Имея около 15 лет опыта разработки JavaScript, Камиль быстро создал веб-сайт для нашего эксперимента:

    .

    Ядро веб-сайта было на 100% закодировано в HTML, чтобы убедиться, что он полностью доступен для сканирования и индексации.Становится интересно, когда открываешь одну из подстраниц:

    Структура подстраниц была предельно проста. Вся страница представляла собой обычный HTML с единственной красной рамкой для контента, сгенерированного JavaScript. При отключенном JavaScript внутри красной рамки было пусто.

    JavaScript включен:

    JavaScript отключен:

    К этому моменту наш эксперимент был более или менее готов к работе. Все, что нам сейчас было нужно, это содержание.

    Содержание

    Наши страницы «Hello World» были проиндексированы через несколько часов после того, как мы запустили веб-сайт.Чтобы убедиться, что есть какой-то уникальный контент, который мы могли бы «скормить» роботу Googlebot, я решил нанять искусственный интеллект, чтобы написать статью для нас. Для этого мы использовали Articoloo, который генерирует потрясающий контент, написанный искусственным интеллектом.

    Я решил, что тема наших статей будет основана на популярных туристических направлениях.

    Так выглядит страница после добавления содержимого. Все, что вы видите в красной рамке, сгенерировано фреймворком JavaScript (в случае со скриншотом ниже — VUE JS).

    Однако проиндексировать контент — это только полдела. Архитектура веб-сайта может работать правильно только в том случае, если робот Googlebot может переходить по внутренним и внешним ссылкам.

    Ссылки JavaScript

    Ссылки всегда были проблемой для клиентского JavaScript. Вы никогда не знали, будет ли Google следовать ссылкам JS или нет. На самом деле, некоторые оптимизаторы все еще используют JavaScript для «скрытия ссылок». Я никогда не был поклонником этого метода; однако имеет ли это вообще смысл с технической точки зрения? Давай выясним!

    Мы нашли очень простой способ узнать, перешел ли Google по ссылкам, сгенерированным JavaScript для определенного фреймворка JS.Мы добавили ссылку в контент, сгенерированный JavaScript для каждого фреймворка, создав своего рода приманку для робота Google. Каждая ссылка указывала на http://jsseo.expert/*framework*/test/.

    Позвольте мне показать вам пример:

    Чтобы упростить отслеживание, ссылки указывали на URL-адреса *framework*/test/ .

    Ссылка, сгенерированная страницей Angular 2 (https://jsseo.expert/angular2/), будет указывать на https://jsseo.expert/angular2/t e s t/ (пробелы добавлены, чтобы не испортить эксперимент с активной ссылкой! ).Это упростило отслеживание того, как робот Googlebot сканирует URL-адреса /test/. Ссылки не были доступны для робота Googlebot в любой другой форме (внешние ссылки, карты сайта, выборка GSC и т. д.).

    Отслеживание

    Чтобы отслеживать, посещал ли робот Googlebot эти URL-адреса, мы отслеживали журналы сервера на Loggly.com. Таким образом, у меня будет предварительный просмотр в реальном времени того, что сканирует Googlebot, а история данных моего журнала будет безопасно храниться на сервере.

    Затем я создал оповещение, чтобы получать уведомления о посещении любого */test/ URL-адреса с любых известных IP-адресов Google.

    Методология

    Методология эксперимента была предельно проста. Чтобы убедиться, что мы все точно измерили и избежать ложных срабатываний или отрицательных результатов:

    1. У нас была простая HTML-страница в качестве эталона, чтобы убедиться, что робот Googlebot может получить полный доступ к нашему веб-сайту, контенту и т. д.
    2. Мы отследили журналы сервера. Инструменты — Loggly для предварительного просмотра в реальном времени + полные журналы сервера, хранящиеся на сервере (Loggly имеет ограниченное время хранения журналов).
    3. Мы тщательно отслеживали время безотказной работы веб-сайта, чтобы убедиться, что он доступен для робота Googlebot.Инструменты — NewRelic, Onpage.org, Statuscake.
    4. Мы позаботились о том, чтобы все ресурсы (CSS, JS) были полностью доступны для робота Googlebot.
    5. Для всех URL-адресов http://jsseo.expert/*FRAMEWORK-NAME*/test/ было установлено значение noindex, Follow, и мы тщательно отслеживали, посещал ли робот Googlebot какую-либо из /test/ страниц с помощью настраиваемых предупреждений в Loggly.com.
    6. Мы держали этот эксперимент в секрете при сборе данных (чтобы никто не мог поделиться тестовым URL-адресом в социальных сетях или получить его как робот Googlebot, чтобы испортить наши результаты).Конечно, мы не могли контролировать сканеры, скребки и органический трафик, попадающие на сайт после того, как он был проиндексирован в Google.

    РЕДАКТИРОВАТЬ 25.05.2017

    Получив отзыв об этом эксперименте от Джона Мюллера и увидев разные результаты в разных браузерах/устройствах, мы не будем продолжать просматривать данные кеша, продолжая этот эксперимент. Это не отражает способности робота Googlebot сканировать или индексировать.

    Эксперимент по сканированию и индексированию JavaScript — результаты

    Собрав все данные, мы создали простую методологию для анализа всех поступающих данных.

    Мы использовали пять ключевых проверок для каждой среды JavaScript.

    Контрольный список экспериментов
    1. Получение и рендеринг через Google Search Console — правильно ли он рендерится?
    2. Индексируется ли URL Google?
    3. Видно ли содержимое URL-адреса в кеше Google?
    4. Правильно ли отображаются ссылки в кеше Google?
    5. Поиск уникального контента со страницы фреймворка.
    6. Проверить, был ли просканирован URL-адрес «*framework*/test/».

    Давайте пройдемся по этому контрольному списку, взглянув на фреймворк Angular 2. Если вы хотите выполнить те же шаги, проверьте URL-адрес фреймворка здесь.

    1. Получить и отобразить через Google Search Console — правильно ли он отображается?

    Как мы видим, Google Search Console не смогла отобразить контент в красной рамке (контент, сгенерированный JavaScript), поэтому результат этого теста очевиден:  FAIL .

    [ОБНОВЛЕНИЕ 28.09.2017 : Оказалось, что из-за ошибок в Angular.io Quickstart, который мы заполнили в нашем эксперименте, Google не смог отобразить эту страницу.

    В Angular.io Quickstart были примеры кода, написанного в синтаксисе ES6: «let resolveURL = url». Служба Google Web Rendering не поддерживает ES6, поэтому не смогла отобразить код. Это был не только Google, поскольку Internet Explorer <= 10 также не смог его отобразить.

    Если вы разработчик, вы можете предположить, что Babel должен позаботиться об этом. Ну, не совсем 🙂 Ошибка была очевидна в загрузчике Angular, задача которого заключалась в загрузке Babel.Кажется парадоксом, не так ли?

    В результате контент не проиндексирован. Это затронуло не только подстраницу эксперимента, но и все веб-сайты, основанные на кратком руководстве по Angular 2.

    После исправления ошибки мы смогли проиндексировать содержимое.

    Подробнее об этом можно прочитать в моей статье «Все, что вы знаете об индексировании JavaScript, неверно».

    Существует множество свидетельств того, что одна ошибка в вашем коде может привести к тому, что Google не сможет отобразить и проиндексировать вашу страницу.Вот пример из «The Ultimate Guide to JavaScript SEO» Tomek Rudzki:

    «В декабре 2017 года Google деиндексировал несколько страниц Angular.io (официальный сайт Angular 2). Почему это случилось? Как вы могли догадаться, единственная ошибка в их коде сделала невозможным для Google отрисовку их страницы и вызвала масштабную деиндексацию.

    Ошибка была исправлена.

    Вот как это объяснил Игорь Минар из Angular.io (выделено мной):

    «Учитывая, что мы не меняли проблемный код в течение 8 месяцев и что мы столкнулись со значительной потерей трафика из поисковых систем примерно с 11 декабря 2017 года, я полагаю, что что-то изменилось в поисковых роботах за этот период time , из-за чего большая часть сайта была деиндексирована, что привело к потере трафика.

    Исправление вышеупомянутой ошибки рендеринга на Angular.io стало возможным благодаря опытной команде разработчиков JavaScript и тому факту, что они реализовали ведение журнала ошибок. Исправление ошибки позволило снова проиндексировать проблемные страницы».

    2. Индексируется ли URL Google?

    URL правильно проиндексирован Google, поэтому очевидно:  УСПЕШНО!

    3. Видно ли содержание URL в кеше Google?

    Результаты:

    Google Cache неправильно проанализировал JavaScript и не показывает содержимое в красной рамке.Это очевидно: FAIL !

    4. Правильно ли отображаются ссылки в кеше Google?

    То же самое касается ссылок. Мы не можем видеть ни контент, ни ссылки, сгенерированные JavaScript. Этот тест также:  FAIL !

    5. Поиск уникального контента со страницы фреймворка

    Google не смог найти содержимое, сгенерированное JavaScript. Мы также можем пометить этот шаг как:  FAIL .

    6. Проверьте, был ли просканирован URL-адрес «*framework*/test/»

    Целью этого шага было проверить, может ли робот Googlebot сканировать ссылки, созданные с помощью JavaScript.Чтобы проверить это, у нас были сгенерированные JavaScript ссылки, указывающие на http://jsseo.expert/*framework*/test/ URL. В данном случае ссылка вела на https://jsseo.expert/angular2/ T E S T / (опять же, не рабочая ссылка, так как это испортило бы результаты нашего теста).

    Чтобы отследить сканирование Googlebot, мы использовали Loggly, а для двойной проверки данных мы вручную просмотрели журналы.

    Вот результаты для Angular 2:

    В этот момент вы, вероятно, увидели этот результат. Робот Googlebot не видел контента, сгенерированного JavaScript, поэтому он не мог перейти по ссылке, сгенерированной JavaScript, внутри контента.Этот шаг определенно:  FAIL .

    Вам, наверное, любопытно, как робот Google справился с другими платформами JavaScript. Давайте пройдемся по окончательным результатам.

    Сканирование и индексирование JavaScript — окончательные результаты

    Давайте начнем с базовых конфигураций для всех фреймворков, используемых в этом эксперименте.

    [ОБНОВЛЕНИЕ: это изображение было обновлено, чтобы отразить дополнительную дополнительную информацию и исследования.]

    Что действительно интересно, так это то, что Googlebot полностью обрабатывает некоторые из основных фреймворков JavaScript, но не очень хорошо работает с Angular 2, когда он создан Google.

    [ОБНОВЛЕНИЕ: Как видите, Google Fetch and Render смог правильно отобразить страницу, но контент не был проиндексирован. Если вам интересно, почему это произошло, прочтите «JavaScript против бюджета сканирования: первый игрок готов».]

    Ценный вывод из этого эксперимента заключается в том, что робот Googlebot полностью оборудован для сканирования и индексирования React (встроенный), jQuery (встроенный), Vue и простой JavaScript (встроенный). Он обрабатывает JavaScript, анализирует контент, созданный JavaScript, и сканирует ссылки, созданные JavaScript.Тем не менее, вы должны помнить, проходят ли эти ссылки PageRank или нет — это совсем другая тема и захватывающая идея для эксперимента.

    Однако это не конец эксперимента. Самая захватывающая часть результатов еще впереди.

    Давайте посмотрим, как Googlebot анализирует различные JS-фреймворки в зависимости от местоположения JavaScript. Начнем с jQuery.

    Результаты эксперимента — jQuery — внутренний, внешний и Ajax-вызов

    При разработке этого эксперимента я использовал множество патентов Google, связанных с эффективностью сканирования.Я ожидал, что Google попытается оптимизировать обработку JavaScript, поскольку сканирование JavaScript требует больше ресурсов по сравнению с простым HTML и CSS.

    Внешние файлы JavaScript были размещены на том же сервере и в том же домене.

    Глядя на приведенные выше результаты, становится понятно, что все становится одновременно интересным и сложным. Мы ясно видим, что робот Googlebot экономит ресурсы. Сканирование встроенного кода JavaScript, вероятно, намного эффективнее с точки зрения Google, чем обработка всех дополнительных запросов и вызовов Ajax.

    Это также меняет то, что мы обычно рекомендуем разработчикам наших клиентов. Делать код JavaScript внешним может быть не лучшим решением, если этот код отвечает за создание внутренних ссылок. Внешний код JavaScript может испортить архитектуру веб-сайта! Можно с уверенностью предположить, что если Googlebot не переходит по ссылкам, они также не передают PageRank или какие-либо другие сигналы.

    Давайте посмотрим на фреймворк React JavaScript, созданный Facebook.

    Результаты эксперимента — React — встроенный vs.Внешний

    Я был удивлен, увидев, что Googlebot так хорошо анализирует JavaScript-фреймворк Facebook. Я ожидаю, что Google будет полностью совместим с Angular (созданным Google). Этот эксперимент доказал обратное. Опять же, размещение JavaScript имеет огромное значение, и создание внешних блокировок JavaScript для URL-адресов /test/ точно так же, как и в случае других фреймворков JavaScript.

    Говоря об этом, давайте взглянем на простой JavaScript, который теоретически должен быть самым простым для сканирования.

    Результаты эксперимента — обычный JavaScript — внутренний и внешний

    Опять же, здесь нечего добавить. Я думаю, вы начинаете замечать интересную закономерность, которую выявил этот эксперимент. Встроенный код полностью доступен для сканирования и индексации, когда внешний код каким-то образом блокирует доступ робота Googlebot к /test/ URL.

    И последнее, но не менее важное: собственный JavaScript-фреймворк Google — Angular JS.

    Результаты эксперимента — Angular JS 1 и 2 — встроенные, внешние и встроенные

    В SEO-сообществе мы привыкли к тому, что Google все усложняет, поэтому я не буду подробно останавливаться на этой теме.Достаточно сказать, что фреймворк Google был самым сложным и трудным для диагностики. К счастью, это также дало самые захватывающие результаты.

    После представления результатов этого эксперимента Angular JS всегда остается самой обсуждаемой средой JavaScript. Позвольте мне немного подробнее рассказать о результатах, приведенных выше.

    Мы ясно видим, что ни один из фреймворков Angular не является оптимизированным для SEO «из коробки». Интересно, что они не были оптимизированы для SEO без рендеринга на стороне сервера.

    гуглеров знают и признают это.

    Проблема с клиентскими веб-сайтами Angular возникает из-за отсутствия опыта у некоторых разработчиков Angular JS. Позвольте мне процитировать нескольких очень умных разработчиков Angular JS, которые также несут ответственность за создание и разработку этого фреймворка.

    Во время своего исследования я нашел короткое видео на YouTube, которое все объясняет.

    Если вы ищете какие-либо конкурирующие ключевые слова, это всегда будут сайты, отображаемые сервером. И причина в том, что, хотя Google индексирует HTML, отображаемый на стороне клиента, он еще не идеален, и другие поисковые системы не делают этого.Поэтому, если вы заботитесь о SEO, вам все равно нужен контент, отображаемый на сервере.

    Джефф Уэлпли
    Конференция Angular U, 22–25 июня 2015 г., Hyatt Regency, аэропорт Сан-Франциско
    «Визуализация сервера Angular 2»

    Джефф Велпли работал с Тобиасом Бошем (инженером Google, частью основной команды Angular). Вы можете найти профили Джеффа и Тобиаса здесь: https://angular.io/about/.

    Я думаю, что цитата и видео выше все объясняют. Если вы работаете с веб-сайтом на Angular JS, я настоятельно рекомендую просмотреть его целиком и, конечно же, отправить его разработчикам вашего клиента.

    С этим выводом действительно трудно поспорить, и он дает нам (оптимизаторам) мощный аргумент против клиентских веб-сайтов Angular. Не знаю, как вы, ребята, но многие мои клиенты рассматривали такие решения.

    Если вы создаете веб-сайт Angular, он должен быть обработан сервером.

    Если этого не сделать, то это просто плохая разработка. Можно использовать клиентский рендеринг Angular только для контента, который не является общедоступным (не доступен для робота Google).Например, CMS-панель вашего сайта и т. д.

    [ОБНОВЛЕНИЕ 05.03.18: Вот обновленная версия результатов вышеуказанного эксперимента:

    Результаты эксперимента — встроенные, внешние или в комплекте?

    Как оказалось, размещение кода JavaScript (встроенного, внешнего или связанного) действительно имеет значение для робота Googlebot. Меня это очень удивило, так как мы обычно советуем нашим клиентам использовать JavaScript везде, где это возможно. С другой стороны, мы знаем, что сканирование JavaScript обходится Google НАМНОГО дороже, чем сканирование простых веб-сайтов HTML/CSS.Я могу только догадываться, что загрузка внешнего JavaScript — это дополнительный шаг/затраты для робота Googlebot.

    Помимо технических деталей, этот эксперимент дал нам дополнительную информацию, которую мы не ожидали. Информация, которая проливает свет на то, как работает сканирование и индексирование Google.

    Кэш Google против индекса Google?

    Гуглеры несколько раз упоминали, что кэш Google работает немного иначе, чем индекс Google. Тем не менее, мне довольно интересно видеть, что контент может кэшироваться, но НЕ индексироваться.

    https://www.google.com/search?q=%22n+a+последний+опрос+из+мировых+городов+на основе+на+Tripadvisor+user+reviews%2C+Москва+был+рейтинг++ 3-й+худший+для+туристов.+Даже+его+самый+стойкий+оппонент%22&oq=%22n+a+последний+опрос+мировых+городов+на+на+Tripadvisor+отзывах+пользователей%2C+Москва+ был+оценен+третьим+худшим+для+туристов.+Даже+его+наиболее+стойкий+противник%22&aqs=chrome..69i57.699j0j4&{google:bookmarkBarPinned}sourceid=chrome&{google:omniboxStartMarginParameter}ie=UTF- 8

    Это действительно ставит огромный знак вопроса даже при просмотре кеша Google при диагностике потенциальных технических проблем SEO и определенно подтверждает позицию Google в отношении кеша Google как отдельной сущности от индекса Google.

    [ОБНОВЛЕНИЕ 25 мая 2017 г.:  Получив отзыв об этом эксперименте от Джона Мюллера и увидев разные результаты в разных браузерах/устройствах, мы не будем продолжать просматривать данные кеша, продолжая этот эксперимент. Это не отражает способности робота Googlebot сканировать или индексировать.]

    Методология эксперимента

    1. Целью эксперимента было достижение 100% прозрачности и точности полученных результатов. Чтобы убедиться, что это так, мы сосредоточились на нескольких показателях.

    2. Эксперимент проводился на отдельном новом домене без внешних ссылок, без истории и т. д.

    Перед развертыванием сайта мы настроили:

    • Loggly (для упрощения доступа к журналам сервера)
    • Хранение журнала сервера (Loggly хранит журналы сервера в течение ограниченного периода времени)
    • NewRelic — мы использовали его, чтобы убедиться в отсутствии аномалий, простоев и т. д., которые могли бы повлиять на сканирование и индексирование
    • OnPage.org — мы используем OnPage.org для технического SEO, но в этом случае мы использовали его для отслеживания времени безотказной работы
    • Статускейк.com — также для мониторинга работоспособности. Незадокументированные простои могут повлиять на наши данные сканирования, и мы хотели убедиться, что это не так
    • .
    • Консоль поиска Google — для получения URL-адресов в виде робота Googlebot
    • Google Analytics

    3. Мы позаботились о том, чтобы эксперимент держался в секрете, когда мы собирали данные. Если сделать его общедоступным, откроется возможность изменить журнал и данные сканирования (например, внешние ссылки на /test/ URL-адреса, твиты и т. д.).

    4. Мы проверили правильность индексации URL-адресов фреймворков, чтобы убедиться, что у робота Googlebot есть возможность сканировать и индексировать содержимое этих URL-адресов.

    5. Мы добавили одну страницу, которая на 100% была сгенерирована HTML, чтобы иметь URL-адрес «контрольной группы», где мы могли проверить, сработали ли наша методология и тесты.

    Чтобы сделать нашу работу еще более прозрачной, мы опубликовали код, использованный для нашего эксперимента, на Github.

    Github — документация эксперимента

    Этот эксперимент имеет смысл только в том случае, если мы полностью прозрачны в отношении кода и методологии, которые мы использовали. Вы можете найти полный репозиторий Github со всем кодом, использованным для создания нашего эксперимента, здесь https://github.com/камилгримуза/jsseo.

     Эксперимент продолжается

    Я очень рад тому, чего нам удалось достичь с помощью этого простого эксперимента, но я знаю, что это только начало.

    Я считаю, что этот эксперимент — первый шаг к построению открытого общения между разработчиками JavaScript и SEO. Фреймворки JavaScript будут только набирать популярность, но в то же время SEO никуда не денется.

    Мы все знаем, что Google не упрощает этот процесс, и эксперименты, подобные представленному здесь, могут сэкономить сотни тысяч долларов, потраченных на разработку веб-сайта, что приведет к плохим результатам SEO.

    Не стесняйтесь обращаться ко мне или Камилю со своими вопросами. Если вы разработчик, было бы здорово, если бы вы могли внести свой вклад в наш репозиторий Github JS framework/configuration. Просто напишите мне, и мы сделаем это, чтобы вы могли быть уверены, что ваш код оптимизирован для SEO.

    [Обновление №1]

    В течение нескольких дней после первых твитов (я представил этот кейс на саммите по поисковому маркетингу в Сиднее и на Big Digital в Аделаиде) Джон Мюллер создал группу JavaScript SEO.Здорово, что Джон берет это направление. JavaScript вызывает серьезные проблемы с SEO, если он не реализован должным образом. Подобные инициативы наверняка помогут многим веб-мастерам.

    Мы собираем группу для обсуждения сайтов/фреймворков JavaScript и поиска. Присоединяйтесь к нам, если вы делаете один! https://t.co/DQUGK4sdHn

    — 🧀 Джон 🧀 (@JohnMu) 12 мая 2017 г.

    Вы можете присоединиться к группе здесь, чтобы следить за обсуждениями JavaScript SEO. Я уже получил массу ценных отзывов об этом эксперименте от Джона.Я обязательно воспользуюсь им, когда продолжу наш эксперимент и исследование.

    [Обновление №2]

    Если вам интересно узнать о следующем шаге в моем путешествии и о том, были ли результаты этого эксперимента правильными или неправильными, то вам нужно немедленно прочитать «Все, что вы знаете об индексировании JavaScript, неверно».

    Также я настоятельно рекомендую вам прочитать «Полное руководство по JavaScript SEO».

    13 способов заставить Google индексировать ваш сайт быстрее

    Google играет важную роль в вашей работе в Интернете.Будучи крупнейшей поисковой системой в мире, она монополизирует поиск и поиск информации.

    Чем выше ваш рейтинг в результатах поиска Google, тем заметнее будет ваш сайт. Это означает больше органического трафика (это бесплатно) и более квалифицированных посетителей на ваш сайт.

    Хотя все это не имеет значения, если ваш сайт не индексируется. Потому что, если вашего веб-сайта или важных страниц вашего сайта нет в индексе Google, они не будут отображаться в результатах поиска Google.

    Итак, вы хотите, чтобы Google мог легко найти вас. Убедитесь, что страницы вашего веб-сайта, контент блога, изображения, видео и онлайн-контент индексируются.

    В этом руководстве объясняется, что такое индексация Google, как проверить, проиндексирован ли ваш веб-сайт в Google, и как заставить Google индексировать ваш веб-сайт быстрее.

    Что такое сканирование и индексирование в Google?

    После выполнения поиска Google обращается к своему индексу (базе данных), чтобы отобразить наиболее релевантный результат для ответа на ваш запрос.

    Поисковые роботы или боты (например, Googlebot) просматривают всемирную паутину с целью индексации. Если вашего сайта нет в индексе Google, он не будет отображаться в результатах поиска.

    Сканирование — это процесс поиска ссылок — новых или обновленных страниц на веб-сайте. Поисковые роботы Google обычно сначала сканируют ваш сайт, прежде чем добавить его в свой индекс.

    Индексация Google означает, что поисковые роботы Google впервые обнаружили страницу и добавили ее в индекс Google.Узнайте больше о том, как работает сканирование и индексирование Google.

    Самый простой способ проверить, какие страницы вашего сайта проиндексированы в Google, — это использовать оператор поиска по сайту.

    Как заставить Google проиндексировать ваш сайт?

    Google попытается найти и просканировать каждую страницу, которую сможет обнаружить в Интернете. Если страницы вашего веб-сайта еще не проиндексированы в Google, обновление поискового индекса Google может занять некоторое время.

    В некоторых случаях может быть заблокирован на роботах.текстовый файл. Подробнее об этом позже.

    Один из лучших способов проверить индексацию вашего сайта Google — использовать консоль поиска Google.

    Как владелец сайта вы можете создать учетную запись консоли поиска Google для своего домена. Вы также можете связать его с Google Analytics.

    Отчет Index Coverage показывает статус индексации всех URL-адресов, обнаруженных Google на вашем сайте.

    Попросите Google просканировать вашу страницу и запросить индексацию

    Когда вы опубликовали новую запись в блоге, это простой способ ускорить процесс индексации.Шаг 1. Перейдите в Google Search Console. 5: Подождите, пока Google проверит URL-адрес

  • Шаг 6: Нажмите кнопку «Запросить индексирование»
  • Сколько времени требуется Google для индексации нового или обновленного контента?

    Джон Мюллер из Google сказал, что «от нескольких часов до нескольких недель» Google может индексировать новый контент или обновленный контент.

    Процесс индексирования может занять больше времени, если робот Googlebot занят другими делами, например индексированием более важных сайтов. Или если на вашем веб-сайте есть технические проблемы, которые затрудняют сканирование и индексирование.

    Убедитесь, что ваш веб-сайт оптимизирован, чтобы Google отдавал приоритет наиболее важному контенту для индексации.

    Внутренние ссылки

    Одной из возможных причин отсутствия индексации страниц является то, что робот Googlebot не смог найти их во время сканирования.

    Часто причиной является плохая структура внутренних связей.

    Отличный способ ускорить индексацию Google — добавить внутренние ссылки. Например, ссылка на недавно опубликованный пост в блоге или страницу с главной страницы.

    Отдает ли Google приоритет свежему контенту?

    Google заявил здесь, что хочет предоставить пользователям более свежие и свежие результаты поиска.

    Это было обновление алгоритма веб-индексирования Caffeine, которое позволило роботу Googlebot быстро и масштабно сканировать и индексировать Интернет в поисках свежего контента.

    Основываясь на инициативе Caffeine, сегодня мы вносим значительные улучшения в наш алгоритм ранжирования, который влияет примерно на 35 процентов поисковых запросов и лучше определяет, когда предоставить вам более актуальные релевантные результаты для этих различных степеней свежесть.

    Источник: блог Google

    Так что да! Это хорошая практика, чтобы обновить свой контент. Потому что Google делает приоритетом поиск и индексацию обновленного контента.

    Самый последний опубликованный, переписанный или обновленный контент приветствуется, так как он с большей вероятностью будет точным — лучшие результаты для пользователей.

    Кроме того, в поиске Google может отображаться дата последнего обновления или публикации. Эта информация занимает место в результатах поиска рядом с мета-описанием, которое влияет на CTR.

    Источник: Google Search Central

    Файл robots.txt

    Файл robots.txt сообщает поисковым роботам, к каким страницам вашего сайта они имеют доступ.

    В основном используется для управления трафиком поисковых роботов на вашем сайте. Например, если вы считаете, что ваш сервер будет перегружен или перегружен запросами от сканера. Узнайте больше о скорости сканирования Googlebot.

    Его также можно использовать для оптимизации сканирования. Поэтому, если на вашем сайте есть неважные страницы, которые вы не хотите, чтобы поисковые роботы находили, вы можете запретить поисковым роботам их сканировать.

    Например, если вы хотите, чтобы определенные веб-документы, такие как PDF-файлы, или типы контента, такие как изображения, видео или аудиофайлы, не появлялись в результатах поиска Google.

    Вам нужен файл robots.txt?

    Гугл говорит нет! Если у вас его нет, робот Googlebot будет сканировать и индексировать ваш сайт в обычном режиме.

    Как запретить сканерам доступ к разделам вашего сайта

    В файле robots.txt можно указать определенные правила блокировки сканирования. Вот пример из Google:

    По сути, это говорит о том, какие все поисковые роботы не могут сканировать папку «включает», но разрешено Googlebot. Смешной!

    Если вы хотите заблокировать появление определенных страниц в результатах поиска, вы можете использовать noindex .

    Это можно реализовать, включив метатег noindex или заголовок в ответ HTTP.

    Когда Google сканирует страницу и видит тег noindex или заголовок, робот Googlebot полностью удаляет эту страницу из результатов поиска Google.

    Использование noindex полезно для блокировки доступа к вашему сайту страница за страницей.

    WordPress Yoast SEO

    Плагин Yoast SEO для WordPress позволяет исключить любой пост или страницу из результатов поиска.Вот как вы можете реализовать noindex .

    Как метатег Noindex, follow показывает исходный код:


    Будьте осторожны при редактировании файла robots.txt, чтобы случайно не заблокировать весь сайт.

    Лучше всего поддерживать чистоту и простоту файла robots.txt. Избегайте создания каких-либо блокировок обхода без необходимости.

    Дублированный контент

    Если у вас есть несколько разных URL-адресов, указывающих на одну и ту же страницу, Google считает эти страницы дублирующимся контентом.

    Другими словами, если есть несколько страниц с большим количеством идентичного контента, они считаются дубликатами страниц.

    Различные версии одной и той же страницы, например, когда другая версия страницы имеет параметры в URL-адресе, но содержит такое же содержимое, не добавляют значения.

    Google старается не индексировать повторяющийся контент, дублировать одинаковые изображения и бесполезный контент.

    Основная цель Google — предоставить лучший ответ на поисковый запрос пользователя с качественным контентом.

    Чтобы ускорить индексацию Google, избегайте дублирования контента. Используйте канонические файлы, чтобы исправить дубликаты страниц.

    Канонический тег

    Если у вас есть дубликаты страниц с одинаковым или похожим содержанием, вы можете объединить повторяющиеся URL-адреса с помощью канонического тега.

    Например, версия страницы для печати и ее обычная версия.

    Страницы продуктов, доступные или связанные с разными URL-адресами.

    Просто выберите оригинальный URL и поместите его в канонический тег.Этот исходный URL-адрес также называется каноническим URL-адресом.

    Канонический явно сообщает Google, какой URL страницы является исходной версией.

    Даже если вы этого не сделаете, Google попытается определить исходную версию и отметить ее как каноническую.

    Преимущества выбора канонического URL-адреса

    Выбор канонического URL-адреса при наличии набора повторяющихся или очень похожих страниц помогает в SEO.

    • Чтобы указать страницу, которая должна отображаться в результатах поиска.Канонический URL-адрес — это тот, который будет ранжироваться.
    • Консолидирует ссылочный вес из обратных ссылок. Полномочия по внешним ссылкам могут быть объединены в одну исходную версию. Несколько URL-адресов одного и того же контента могут привлекать обратные ссылки как отдельные страницы. Это разделяет ссылочный вес, поскольку он используется на разных страницах. Выбор канонической страницы накапливает и укрепляет авторитет этой страницы и ее ранжирование.
    • Оптимизирует краулинговый бюджет и максимально эффективно сканирует ваш сайт роботом Googlebot.Вместо того чтобы тратить время на сканирование повторяющихся страниц, робот Googlebot может сканировать новые веб-страницы или обновленный контент.

    Какая разница, что Google не может проиндексировать ваш сайт?

    Если Google не может проиндексировать ваш веб-сайт или некоторые важные страницы вашего веб-сайта, он не будет отображаться в результатах поиска. Это означает потерю трафика.

    Ваш веб-сайт необходимо проиндексировать, чтобы он отображался в результатах поиска Google.

    Индексация вашего веб-сайта в Google означает, что он хранится в базе данных Google. Это не значит, что он будет иметь высокий рейтинг. Это тема для другого поста — SEO Case Study: Как попасть в первые 2 результата поиска в Google.

    Обычно вам не нужно ничего делать, и Google рано или поздно найдет ваш веб-сайт и любой новый контент.

    В результатах будут показаны все страницы вашего веб-сайта, которые в настоящее время проиндексированы в Google.

    Если вы обнаружите, что для индексации определенных страниц требуется много времени, вы можете попробовать ускорить это.

    Обновите карту сайта XML новыми страницами или отправьте эти страницы в поисковую консоль Google для повторного сканирования Google.

    Оба метода более подробно описаны ниже.

    Вот 13 способов заставить Google быстрее находить и индексировать ваш веб-сайт.

    Шаг 1. Проверьте, проиндексирован ли уже ваш веб-сайт в Google

    Первое, что вам нужно сделать, это проверить, проиндексирован ли уже ваш веб-сайт.

    Введите весь домен с помощью «сайт:» оператор поиска в Google.

    В результатах будут показаны все страницы вашего веб-сайта, которые в настоящее время проиндексированы в Google.Если вы не видите определенные страницы, которые хотите проиндексировать, это будет означать, что эти страницы еще не проиндексированы.

    Если он не проиндексирован, скорее всего, он все еще находится в процессе, но в некоторых случаях вам нужно попытаться ускорить его.

    Для этого обновите карту сайта XML с этими страницами или отправьте эти страницы в поисковую консоль Google для повторного сканирования Google. Оба метода более подробно объясняются ниже.

    Шаг 2. Создание XML-карты сайта

    XML-карта сайта представляет собой список URL-адресов веб-сайтов в формате XML.Это помогает Google легко и более разумно находить наиболее важные страницы на вашем веб-сайте.

    Если прямо сейчас для вашего SEO есть быстрая победа, это будет создание XML-карты сайта для вашего веб-сайта. Это действительно легко сделать и часто автоматизировано.

    Существует два способа создания XML-карты сайта:

    • Создание XML-карты сайта с помощью плагина
    • Создание XML-карты сайта вручную без плагина
    Создание XML-карты сайта с помощью плагина

    Большинство веб-сайтов работают с контентом система управления (CMS), такая как WordPress, Squarespace, которая упрощает создание XML-карты сайта.В WordPress плагин Yoast SEO легко позаботится об этом за вас и даже автоматически обновит карту сайта при публикации новых страниц.

    Создание XML-карты сайта вручную без плагина

    Если ваш веб-сайт не использует CMS, вы можете использовать Screaming Frog для создания XML-карты сайта. Он обеспечивает бесплатное сканирование до 500 страниц, что является хорошим началом для большинства владельцев веб-сайтов.

    В WordPress, но не хотите использовать плагин? Хорошая новость — WordPress 5.5 автоматически создаст карту сайта XML по умолчанию для вашего сайта.

    Шаг 3. Обновите карту сайта XML новыми страницами

    Когда вы публикуете новые страницы на своем веб-сайте или обновляете контент, вам может потребоваться обновить карту сайта. Если вы используете сайт WordPress, плагин Yoast SEO или All-in-One SEO Plugin сделает всю работу за вас автоматически.

    Вы также можете повторно сгенерировать свою карту сайта с помощью Screaming Frog и повторно отправить обновленную карту сайта в формате XML в Google.

    Шаг 4. Отправьте XML-карту сайта в Google

    После создания XML-карты сайта вы можете отправить ее в Google Search Console. Сначала вам нужно создать учетную запись в Google Search Console. Вот руководство по настройке, если вы еще этого не сделали.

    На боковой панели выберите свой веб-сайт и нажмите на вкладку карты сайта. Сначала вы захотите удалить все текущие XML-карты сайта, а затем загрузить обновленную карту сайта.

    Делайте это регулярно, если вы часто обновляете свой веб-сайт.Это поможет Google лучше сканировать ваши веб-страницы и ускорить процесс индексации.

    Запишитесь на пакет курсов по оптимизации скорости сайта

    Хотите понять основы оптимизации скорости сайта и узких мест при загрузке страниц? Узнайте, что именно вам нужно сделать для обновления основного веб-показателя Google, и добейтесь 90/100 в аналитике скорости страницы Google в 2022 году.

    Шаг 5. Проверка URL-адреса любой отдельной страницы и запрос на индексирование

    Когда вы вносите изменения в существующие страницы и содержимое, вы можете запросить индексирование и повторное сканирование этих страниц.

    Настроить Google Search Console легко, если вы еще этого не сделали.

    Перейдите к Google Search Console > используйте « Инструмент проверки URL» > запросите индексацию .

    Вы также можете дважды проверить статус индексации любой страницы на вашем сайте с помощью инструмента проверки URL-адресов Google.

    Далее мы просто ждем, пока Google сделает свое дело и поставит вашу веб-страницу в очередь на индексацию.

    Шаг 6. Используйте внутренние ссылки на своем веб-сайте

    Внутренние ссылки полезны для поисковой оптимизации. Внутренняя ссылка — это гиперссылка с одной страницы на другую страницу вашего собственного сайта.

    Они помогают структурировать содержимое вашего веб-сайта и упрощают для Google переход по этим ссылкам и поиск ваших страниц. Ниже приведены некоторые способы использования внутренних ссылок на вашем веб-сайте.

    Используйте внутреннюю ссылку «связанные записи» в сообщениях блога

    Связанные сообщения показывают пользователям контекстный связанный контент на основе текущего сообщения.Это помогает увеличить посещаемость вашего веб-сайта, поскольку пользователи посещают несколько статей на вашем сайте.

    Увеличить внутреннюю перелинковку и снизить показатель отказов — это быстрая победа.

    Вы можете настроить это с помощью простых плагинов, таких как Еще один плагин похожих постов (YARPP) , Контекстные похожие посты , Встроенные похожие посты на WordPress.

    Добавьте навигационные крошки на свой веб-сайт

    В частности, для секционного контента (страницы продуктов, услуги, статьи) навигационные крошки необходимы для отображения логического потока контента.

    Добавление текстовых внутренних ссылок вручную в основное содержимое страницы

    Вы также можете добавлять внутренние ссылки простым способом, добавляя их вручную в основное содержимое страницы. Например, в теле содержимого вашей страницы.

    Не забудьте также использовать якорный текст с ключевыми словами в этих текстовых внутренних ссылках.

    Добавление внутренних ссылок в меню навигации и нижний колонтитул создает более прочную ссылочную структуру на вашем веб-сайте.

    Веб-сайты электронной коммерции могут значительно выиграть от надежной внутренней структуры ссылок, поскольку они содержат большое количество продуктов и контента.

    • Добавить ссылки на основные категории продуктов
    • Добавить ссылки на подкатегории продуктов
    • Добавить новые категории продуктов и страницы категорий распродаж

    Это не только помогает поисковым системам лучше находить ваш контент, но и обеспечивает лучший пользовательский интерфейс.

    Блоги могут значительно выиграть от внутренних ссылок в меню навигации и нижнем колонтитуле.Хорошим примером является журнал поисковой системы.


    Шаг 8: Разместите свой веб-сайт в каталогах

    Размещение вашего веб-сайта в каталогах — традиционный способ начать работу с поисковой оптимизацией. Разместив свой веб-сайт в авторитетных каталогах, вы можете создать фундаментальные обратные ссылки и быть найденными в Интернете.

    Идея заключается в том, что если ваш веб-сайт можно найти на других веб-сайтах, робот Googlebot и поисковые роботы смогут быстрее обнаружить ваш веб-сайт. Поскольку эти сайты уже созданы и находятся на радаре Google.

    Кроме того, ваш веб-сайт будет доступен для гораздо большей аудитории, что может привести к реферальному трафику на ваш сайт.

    Отправляйте сообщения только в авторитетные каталоги

    Однако актуальность каталогов с годами снижается. Google удалил ряд бесплатных каталогов из своего индекса, Джон Мюллер из Google заявил, что каталоги вообще не имеют отношения к SEO.

    На мой взгляд, каталоги по-прежнему полезны, если они имеют отношение к нише и обеспечивают высокую ссылочную ценность.

    Шаг 9. Регулярно проверяйте ошибки сканирования Google

    По мере того, как ваш веб-сайт растет и вы публикуете больше контента, вам необходимо регулярно проводить техническую проверку сайта на соответствие гигиеническим требованиям. Для небольших веб-сайтов (менее 500 URL-адресов) вполне достаточно проверки каждый квартал.

    Для крупных веб-сайтов я рекомендую проводить ежемесячную или раз в два месяца проверку. Google Search Console — это первое, что нужно проверить.

    Информационная панель > Индекс > Покрытие

    Страницы ошибок

    Ищите страницы ошибок, отмеченные красным.Это означает, что это страницы вашего сайта, которые Google не смог проиндексировать.

    • Ошибка сервера (ошибка уровня кода состояния 500)
    • Ошибка перенаправления (цепочка перенаправлений была слишком длинной, из-за чего Google не смог проиндексировать URL-адрес)
    • Отправленный URL-адрес заблокирован robots.txt index’ tag
    • Soft 404
    • Неработающая страница (код состояния 404)

    В отчете о покрытии индексом будет показано состояние индексирования всех URL-адресов, которые были посещены Google или были предприняты попытки посещения.

    Также будет показан отчет о посещении, и именно он может помочь вам обнаружить, какие веб-страницы привели к проблемам.

    Уделите первоочередное внимание исправлению наиболее важных веб-страниц, которые будут проиндексированы следующими.

    Шаг 10. Создание уникального контента, ориентированного на SEO

    Контент, оптимизированный по ключевым словам и ориентированный на SEO, просто упрощает для Google ранжирование в результатах поиска.

    Когда дело доходит до создания контента, вы должны выполнять стандартные контрольные точки, ориентированные на SEO.

    • Заголовок и мета-описание с таргетингом на ключевое слово
    • Достаточный контент на странице для таргетинга по ключевым словам и удовлетворения запросов пользователей. Длинный контент действительно хорош и имеет тенденцию занимать высокие позиции.
    • Избегайте создания низкокачественного контента.
    • Добавление альтернативного текста к любым публикуемым вами изображениям.
    • Сжатие изображений и уменьшение размера файла.
    • Исправьте неработающие ссылки и проверьте наличие ошибок сканирования.

    Наличие хорошей стратегии ключевых слов SEO — это первый шаг к SEO.

    Затем я рекомендую изучить Основы SEO-копирайтинга и некоторые продвинутые стратегии, такие как ранжирование в избранных фрагментах, чтобы улучшить ваше SEO.

    Шаг 11: Обновите старые страницы на вашем веб-сайте

    Google всегда хочет обновлять и обновлять свой индекс, чтобы отображать наиболее релевантный контент в результатах поиска.

    Поэтому он постоянно ищет новые страницы для индексации и качественный контент для показа пользователям.

    Удалите некачественные страницы, чтобы более важные страницы отдавали приоритет индексации.

    Алгоритм поиска Google сначала сортирует страницы, наиболее релевантные поисковому запросу. Лучшие результаты с высоким авторитетом домена и качественным контентом занимают верхнюю часть страницы результатов поисковой системы (SERP).

    Обновление вашего контента повысит его релевантность и, возможно, повысит рейтинг.

    Старые страницы вашего веб-сайта на самом деле могут иметь наибольшую ценность для SEO, потому что они дольше находятся в индексе Google и, скорее всего, уже получили много обратных ссылок.

    Это означает высокий ранг страницы и авторитетность домена. Поэтому потратьте некоторое время на обновление существующего контента, чтобы придать ему дополнительный SEO-ускоритель.

    Одна из моих старых статей, опубликованная в 2019 году, показала отличные результаты в поисковой оптимизации после серии обновлений контента в 2020 году. Это произошло после того, как я обновил статью новым контентом, добавил несколько подзаголовков и больше изображений.

    Теперь он входит в избранное описание в Google!

    Чтобы узнать больше о ранжировании в избранных фрагментах, ознакомьтесь с Основы SEO-копирайтинга .

    Ищете полную программу SEO? SEO Demystified для вас!

    Шаг 12. Создание обратных ссылок и повышение авторитета домена

    Обратные ссылки сообщают Google, насколько авторитетным и заслуживающим доверия является веб-сайт. Внешние ссылки с веб-сайтов действуют как «вотумы доверия» в алгоритме поискового ранжирования.

    Сигналы ссылок являются сильным фактором для повышения рейтинга, поскольку Google хочет показывать результаты, которые заслуживают доверия и авторитетны.

    Проще говоря, если ваш сайт имеет множество обратных ссылок с высоким DA (авторитетом домена), Google будет считать ваш сайт более важным, чем другие, которые не имеют сильного профиля обратных ссылок.

    Шаг 13. Поощряйте обмен вашим контентом в социальных сетях

    Обмен контентом в социальных сетях дает вашему контенту больше возможностей. Это означает больше репостов, больше просмотров, больше лайков и вовлеченности в ваш контент.

    Повышение видимости вашего контента в социальных сетях также поможет Google и поисковым роботам быстрее находить ваш сайт.

    Начните с создания профиля в социальных сетях. Вы можете не только делиться контентом в социальных сетях, но и размещать домен своего веб-сайта на платформе социальных сетей.Обратная ссылка!

    Теперь Google неоднократно говорил , что социальные сигналы не влияют на ранжирование в поисковых системах. Но если подумать, то косвенное влияние они, безусловно, имеют.

    Потому что более широкое распространение вашего контента увеличивает вероятность того, что другие люди (и веб-сайты) будут ссылаться на вас.

    Чем больше вы присутствуете перед своей аудиторией, тем сильнее ваша онлайн-заметность и конверсия.

    Запишитесь на пакет курсов по оптимизации скорости сайта

    Хотите понять основы оптимизации скорости сайта и узких мест при загрузке страниц? Узнайте, что именно вам нужно сделать для обновления основных веб-показателей Google, и добейтесь 90/100 в аналитике скорости страницы Google в 2022 году.

    Присоединяйтесь к пакету курсов по оптимизации скорости сайта и научитесь ускорять свой сайт, не нанимая веб-разработчика.

    Как заставить Google проиндексировать ваш сайт (просто и быстро)

    Последнее обновление: 5 февраля 2022 г.

    Если вы создаете контент, может показаться очевидным, что вам нужно, чтобы Google действительно знал о вашем существовании.

    Вы только что создали свой блог и написали свой первый шедевр. У вас возникает нервное чувство, когда вы нажимаете «Опубликовать», что оно отключено в Интернете для всеобщего чтения.

    Но с этим есть проблема. Если ваша аудитория не знает об этом, Google может занять недели или даже месяцы, чтобы найти его! Я был там, и поверьте мне, это не весело ждать. Я проверял свой веб-сайт Google Analytics по крайней мере десять раз в день, чтобы узнать, пришел ли какой-либо трафик на мой новый пост в блоге.

    К счастью, в этой статье я покажу вам лучшие способы заставить Google проиндексировать ваш сайт и сообщения в блоге в рекордно короткие сроки.

    Это часть основ работы веб-мастера.Никогда, никогда не пренебрегайте методами SEO, которые помогут вам не только проиндексироваться, но и попасть в рейтинг.

    Что на самом деле означают термины «сканирование» и «индексирование»?

    Принцип работы поисковой системы заключается в том, что они регулярно отправляют свои сканеры (известные как поисковые роботы) для поиска веб-сайтов и любых веб-страниц в пределах всего сайта. После обнаружения они добавляют его в индекс Google для регистрации.

    Источник: blog.alexa.com

    Здесь важно знать, что индексирование и ранжирование Google — это , а не одно и то же.После того, как вы были проиндексированы , вас можно будет найти с помощью соответствующего поискового запроса. Просто выполните поиск в Google или используйте альтернативный метод на странице администратора Google Search Console.

    Место, где вы окажетесь на странице поиска, — это ваш рейтинг .

    Здесь мы говорим о том, чтобы сообщить Google, что вы действительно существуете.

    Исследование, проведенное Ahrefs, показало, что почти 60% страниц, которым три года и более, занимают первые 10 позиций на первой странице результатов поиска.

    Источник: Ahrefs

    Плохо выглядит, если ваша страница новая, верно?

    Теперь я не говорю, что ранжирование на первой странице невозможно, просто знайте, что время здесь наш друг, и чем быстрее мы проиндексируем страницу, тем быстрее мы запустим часы.

    Как узнать, проиндексированы ли вы уже в Google?

    1. Первый шаг — зайти в Google.
    2. Введите модификатор условия поиска site:yourownsite.com

      Это вызовет все страницы, которые поисковая система Google нашла на вашем сайте.
      Примечание. Он может не отображать все текущие страницы, поскольку сканеры еще не добавили их в свою центральную файловую систему.

    3. Чтобы узнать, действительно ли проиндексирована нужная веб-страница, добавьте URL-адрес после своего веб-сайта в строку поиска.

    Альтернативный способ — использовать консоль поиска Google (ранее известную как Инструменты Google для веб-мастеров) и использовать инструмент проверки URL.

    Отсюда вы можете искать точный URL, и результаты будут выглядеть так:

    В этом случае URL-адрес найден и проиндексирован.Поздравляем!

    В противном случае это будет выглядеть примерно так:


    Здесь гугл не нашел, отмечено словами «URL не в гугле». Некоторые другие более распространенные проблемы могут включать:

    • Обнаружен — в настоящее время не проиндексирован.
    • Просканировано — в настоящее время не проиндексировано.
    • Заблокировано robots.txt

    Для получения полного списка значений всех этих терминов нажмите здесь.

    Как заставить Google проиндексировать ваш сайт

    Если вы обнаружили, что ваш веб-сайт или страница не найдены, то нажатие на кнопку «Запросить индексирование» запустит для вас процесс индексирования.

    Если вы добавили RSS-канал на свою домашнюю страницу, вероятно, индекс Google просканирует его, но не проиндексирует. Учитывая, что обычно мы не стремимся зарабатывать деньги на этих страницах, вполне логично, что мы не хотим, чтобы они отображались в обычных поисковых запросах.

    Тем не менее, неплохо иметь привычку нажимать кнопку «Запросить индексирование» всякий раз, когда на вашем веб-сайте публикуется новая страница или вы обновляете страницу новым содержанием.

    Вы говорите Google, что у них есть кое-что новое, что они могут проверить, и им стоит потратить время на то, чтобы проиндексировать это раньше.Имейте в виду, что все дело в пользовательском опыте.

    Конечно, если есть проблемы со старым содержимым блога, то простой запрос индекса вряд ли решит проблему постоянно.

    В этом случае вот несколько стратегических способов заставить Google индексировать вас быстрее.

    1. Убедитесь, что страница включена в вашу карту сайта

    Карта сайта, как следует из названия, представляет собой карту вашего сайта. Это файл в формате XML, который содержит список всех страниц и сообщений в определенном домене.

    Поисковые роботы Google хороши, но не настолько. Время от времени им нужна небольшая помощь, чтобы найти новые страницы или контент в этом домене.

    Иногда также известная как XML-карта сайта, она сообщает роботам поисковых систем, как часто им нужно сканировать ваш веб-сайт, чтобы найти новую и обновленную информацию для индексации.

    Хотя Google может в конечном итоге найти ваши страницы и проиндексировать их, если вы добавите карту сайта, это может сократить время, в течение которого Google индексирует вашу страницу. В конце концов, вы можете получить его от 24 часов до нескольких минут.

    Лучше всего, если вы используете WordPress и у вас есть плагин для SEO (например, RankMath), тогда создание карты сайта довольно просто.

    Вы берете ссылку и добавляете ее в Google Search Console.

    Однако следует помнить, что то, что у вас есть сгенерированная карта сайта, не гарантирует, что ваши страницы будут включены в поисковые системы.

    2. Добавить внутренние ссылки

    На данный момент мы знаем, что поисковые роботы любят переходить от ссылки к ссылке.Так что, если на вашей странице нет внутренних ссылок, вы эффективно блокируете ссылку в цепочке (извините за каламбур).

    Совет для профессионалов: Создавайте внутренние ссылки с одной из наиболее важных страниц. Тот, который набирает наибольшее количество трафика и внутренне связывает его с вашей новой страницей.

    Почему? Потому что Google, вероятно, будет повторно сканировать популярную страницу чаще, чем непопулярную.

    Чтобы получить максимальную отдачу от внутренних ссылок, сделайте их ссылкой «do-follow» и дайте ссылку на релевантных страниц.

    Например, если вы хотите добавить внутреннюю ссылку на руководство по SEO, имеет смысл добавить ссылку на SEO-стратегии, поскольку эта статья актуальна для аудитории и может быть им интересна.

    Наконец, когда дело доходит до добавления внутренних ссылок, убедитесь, что на вашем сайте нет неработающих ссылок. Любые проиндексированные страницы могут пострадать в поисковом рейтинге, потому что цепочка фактически остановлена.

    3.Удалить страницы низкого качества (для оптимизации бюджета сканирования)

    Есть несколько факторов, влияющих на то, сколько страниц Google будет сканировать в любой день.

    Такие вещи, как состояние веб-сайта, скорость сайта, количество ошибок (используйте для этого Google Search Console) и даже количество ссылок, указывающих на сайт.

    По данным Google, чем больше веб-сайт, тем больше вы можете захотеть уделить ему внимание.

    Если у вас есть страницы, которые просто не конвертируются для вас, может быть, имеет смысл просто удалить их вообще.Преимущество здесь будет заключаться в увеличении краулингового бюджета.

    4. Создавайте высококачественные обратные ссылки

    Если вы можете получить ссылку с веб-сайта с высоким рейтингом, которая ведет на одну из ваших страниц, вы фактически сообщаете Google, что ваш сайт ценен. Это похоже на то, как кто-то голосует за вас.

    Это может быть полезно для вас, потому что это заставит Google посмотреть на него и, надеюсь, проиндексировать вас, даже лучше, если он ранжирует вас одновременно.

    Поскольку Google видит ценность, если кто-то ссылается на вас, это означает, что ваш сайт будет сканироваться чаще, а это означает более высокую вероятность индексации, и снежный ком продолжится.

    5. Проверьте файл robots.txt

    Не пугайтесь этого имени файла. Цель файла robots.txt — сообщить поисковым роботам, какие страницы сканировать, а какие нет.

    Чтобы проверить, есть ли у вас проблемы с индексацией, перейдите по адресу yourwebsite.com/robots.txt и найдите этот фрагмент текста:

    Агент пользователя: *

    Запретить: /

    Если вы видите / в разделе запрета, это говорит ботам вообще не сканировать любые страницы вашего сайта.Но все в порядке, вы можете просто удалить все, что там есть.

    Да, это так просто!

    Совет для опытных пользователей: Используйте функцию запрета для любых страниц, которые вы не хотите сканировать ботами, чтобы увеличить бюджет сканирования.

    Итог

    Если вас не найдут в поисковых системах, никто не сможет вас найти (если вы не сообщите об этом через учетные записи в социальных сетях), и будет намного сложнее получить органический трафик и подняться в рейтинге SEO.

    Но вам не нужно быть компьютерным гением, чтобы начать работу, вам просто нужна хорошая стратегия контент-маркетинга в сочетании с хорошей практикой SEO. Другими словами, иметь качественный контент и внешние ссылки.

    Использование таких инструментов, как Google Search Console и SEO-плагины, означает, что вы можете полностью контролировать то, что может быть проиндексировано, а также дает вам много информации о том, как работает ваш сайт.

    Это работает с целевыми страницами, сайтами электронной коммерции, сайтами WordPress и даже совершенно новыми сайтами.

    Следует помнить, что не каждая страница вашего собственного сайта может быть проиндексирована поначалу.

    Однако, используя эту тактику, вы будете на пути к индексации и сканированию в рекордно короткие сроки с огромным количеством посетителей веб-сайта.

    Как быстро вы были проиндексированы Google? Позвольте мне знать в комментариях ниже.

    Пришло время стать пилотом своей жизни, а не просто пассажиром.

    Крис Бурнелис — блоггер и веб-разработчик, работающий неполный рабочий день.Он работает в онлайн-бизнесе с 2015 года. Присоединяйтесь к нему здесь, на ChrisBournelis.com, чтобы получить лучшие обзоры SaaS и советы, чтобы получить максимальную отдачу от вашего онлайн-бизнеса.

    Как заработать свое место в индексе Google в 2020 году

    Игра изменилась. В среднем 15-20% ваших URL-адресов не индексируются Google.

    Это вдобавок к проблемам частичного индексирования для страниц, которые действительно проиндексированы. Частичное индексирование — это когда ваш URL-адрес проиндексирован Google, но часть содержимого страницы не индексируется по многим причинам.

    Чем больше ваш веб-сайт, тем выше вероятность того, что у вас возникнут проблемы с индексацией . Просто приведу несколько примеров:

    • Walmart: Google проиндексировал только 61%,
    • Yoox.com: только 19% его контента проиндексировано.

    Интернет-магазины, издательства и даже блоги. Никто не застрахован от этой проблемы.

    Walmart, Verizon, Medium.com — тип сайта не имеет значения.

    Medium.com — один из моих любимых примеров, около 20% его URL-адресов не проиндексированы Google, но список непроиндексированных веб-сайтов очень длинный.Наша база данных заполнена тысячами крупных брендов, известных вам брендов, веб-сайтов, которые вы посещаете каждый день, которые изо всех сил пытаются индексировать свои уникальные индексируемые URL-адреса Google.

    Эта статья прольет свет на эту проблему и поможет вам не только понять ее, но и диагностировать, отслеживать и устранять ее на своем веб-сайте.

    Прежде чем мы начнем обсуждать решения этой проблемы, позвольте мне пролить свет на историю индексации, частичной индексации и рендеринга SEO.

    Немного истории

    Проблемы индексации больше не связаны только с JavaScript.

    Когда я впервые увидел частично проиндексированную страницу, я был поражен этим новым явлением, но в 2017 году эту проблему было легко объяснить. Google индексировал HTML-контент и пропускал части страницы, которые полагались на JavaScript.

    Мы начали отслеживать проблемы с индексацией наших клиентов и других крупных популярных веб-сайтов, надеясь выяснить, что их вызывает. Мы быстро поняли, что проблемы с индексированием бывают самых разных форм и размеров.

    Частичная индексация часто связана с веб-сайтом с помощью JavaScript, но это постепенно меняется.Появляется все больше и больше веб-сайтов «без JavaScript», которые борются с частичной индексацией.

    Чтобы понять эту проблему, нам нужно больше данных. Нам нужно было понять масштаб проблемы. В прошлом году мы начали создавать собственный набор инструментов для отслеживания проблем Google с индексацией, и в этой статье мы обобщим последние несколько лет нашего исследования тенденций сканирования, рендеринга и индексации, данных из нашего набора инструментов и, что не менее важно, отзывов Google и реакция на то, что мы объявили о своих выводах в моем «Манифесте рендеринга SEO» во время электронного саммита SEJ в июне.

    Начнем с четырех различных типов проблем с индексацией, с которыми вы можете столкнуться.

    Индексация URL 

    Эта проблема является наиболее серьезной и самой простой для понимания. Если ваш URL-адрес не проиндексирован Google, это серьезная проблема.

    Почему я называю это индексированием URL? Раньше вместо этого мы использовали термин «HTML-индексирование», но поняли, что это уже не лучшая идея. Теперь у вас могут быть проблемы с частичной индексацией веб-сайтов HTML, что делает этот термин запутанным и устаревшим.С этого момента я буду придерживаться индексации URL, чтобы сделать ее более точной.

    Пример проблем с индексацией на уровне URL

    Давайте посмотрим на один из URL из нашей базы данных. Мы рассмотрим пример диагностического пути, чтобы убедиться, что URL-адрес правильно проиндексирован Google.

    Прежде чем выполнять все эти шаги, убедитесь, что рассматриваемый URL-адрес не канонизирован, не индексирован, не заблокирован в роботах и ​​т. д.

    На момент написания этой статьи этот URL-адрес (как и другие URL-адреса, ) не индексировался несколько месяцев, но я уверен, что после публикации этой статьи он будет быстро проиндексирован из-за внешних ссылок и трафика, отправленного на него.Не стесняйтесь написать мне в DM список URL-адресов, которые не проиндексированы Google, если вы хотите взглянуть.

    https://us.topshop.com/ru/tsus/product/alba-white-woven-ballet-shoes-9

    7

    Начнем со старого доброго сайта: проверка команды в гугле.

    Мы видим, что Google не дал никаких результатов для этого URL, но наша работа еще не завершена.

    Сайт: команда часто возвращает ложные отрицательные значения. Однако есть способ обойти это (пока).

    Обычно мы делаем два дополнительных поиска, чтобы убедиться, что наш диагноз правильный.

    1. «Название бренда» + команда сайта

    Просто добавьте название бренда перед сайтом: команда

    2. «Ключевое слово» + команда сайта

    Добавьте слово, которое часто используется на сайте. content перед site: команда для перепроверки точности результатов.

    В этом примере я использовал слово «обувь», так как это список товаров для обуви.

    Теперь мы можем быть уверены, что этот URL не проиндексирован Google.

    Ниже приведены некоторые дополнительные примеры страниц, которые не были проиндексированы на уровне URL.

    Частичное индексирование, ориентированное на мобильные устройства

    Индексирование (и сканирование), ориентированное на мобильные устройства, столкнулось с некоторыми новыми интересными проблемами. Многие веб-сайты представили две отдельные версии контента, предоставляемого пользователям в зависимости от используемого ими устройства.

    Я хочу показать вам очень простой пример того, как это может вызвать проблемы с индексацией вашего сайта.

    Давайте рассмотрим этот пример от Yoox.

    https://www.yoox.com/us/13041012LK/item#cod10=13041012LK&sizeId=&sizeName=

    После быстрой проверки мы видим, что этот URL проиндексирован Google.

    Он полностью проиндексирован? Да начнется веселье.

    Мы отслеживаем Yoox.com уже почти год. Я почти уверен, что он сканируется мобильным агентом Googlebot, что приводит к проблемам с частичной индексацией для мобильных устройств.

    Как найти отличия мобильной версии от настольной версии?

    Во-первых, нам нужно увидеть, чем отличается версия URL для мобильных и настольных компьютеров. Есть несколько способов сделать это. Один из них — просто открыть мобильную версию и настольную версию рядом, чтобы найти различия.

    Chrome — параллельное визуальное сравнение

    Так я обычно начинаю свои сравнения при анализе потенциальных проблем, связанных с частичным индексированием мобильных устройств.

    Если в детстве вы умели находить различия между двумя картинками, это, вероятно, поможет вам в большинстве случаев.

    Как видно на скриншоте выше, в десктопной версии есть часть описания товара, которая не представлена ​​в мобильной версии страницы.

    Некоторые проекты немного сложнее других, и иногда вам просто нужно перепроверить, все ли проблемы вы нашли.

    В некоторых (редких) случаях вы можете копнуть немного глубже и открыть Diffchecker.

    Diffchecker

    Запуск исходного кода через Diffchecker немного сложнее и требует немного большего понимания HTML-кода, но, потратив некоторое время на это, вы обнаружите, что это не так уж и сложно.

    Я предпочитаю размещать мобильную версию слева, а настольную версию исходного кода — справа. Таким образом, все «дополнения» контента помечаются зеленым цветом, но не стесняйтесь делать это так, как вам удобнее.

    После нескольких минут просмотра и попыток разобраться в этом коде вы можете найти контент, который виден в настольной версии, но не виден в мобильной версии этой страницы.

    Получение окончательного подтверждения

    Теперь осталось только проверить, не видит ли Google эту проблему (некоторые веб-сайты могут по-прежнему сканироваться и индексироваться пользовательским агентом Googlebot для настольных компьютеров).

    Вставьте неиндексируемый текст в кавычки перед командой сайта и URL, чтобы получить окончательное подтверждение вашего диагноза. В нашем случае это

    «сделано в Италии». проблемы, вы обнаружите, что она бывает разных форм и размеров: от небольшой части описания продукта, как мы видели выше, до контента с вкладками, который не индексируется, до даже индексируемой версии для ПК и мобильной версии, не индексируемой Google ( для веб-сайтов, которые еще не проиндексированы для мобильных устройств).

    Самое главное, что теперь вы понимаете, как найти, диагностировать и исправить эту проблему для вашего сайта.

    Теперь давайте рассмотрим самую гиковскую проблему частичного индексирования: частичное индексирование, связанное с JavaScript.

    Частичное индексирование, связанное с JavaScript (самая популярная проблема частичного индексирования)

    Частичное индексирование, связанное с JavaScript, было моим «лекарством от входа» в проблемы с индексированием. Впервые я увидел его в дикой природе более 5 лет назад, и он сразу же меня зацепил.Я был потрясен, увидев, как много веб-сайтов содержат большую часть своего контента, не проиндексированного Google.

    Частичная индексация JavaScript — самая популярная и, к сожалению, самая серьезная проблема индексации, поскольку она часто затрагивает основное содержимое страницы. Как следствие, это делает практически невозможным высокий рейтинг этой страницы.

    А пока давайте сосредоточимся на самой популярной проблеме частичного индексирования JavaScript — динамически добавляемом контенте. Walmart.com немного борется с этой проблемой.Давайте погрузимся прямо в него.

    URL, который мы будем анализировать:

    https://www.walmart.com/ip/Hipshot-Guitar-Extender-GT1-Black/220718905

    Я выбрал этот URL по ряду причин

    1. Содержимое JavaScript загружается выше основного продукта (вероятно, из-за того, что этого продукта в настоящее время нет в наличии).
    2. То, как загружается этот JavaScript-контент, вызывает огромное изменение макета, как вы можете видеть в видео ниже:
    1. JavaScript-контент виден как на мобильных устройствах, так и на настольных компьютерах.Однако на мобильном устройстве содержимое JavaScript размещается под описанием продукта.
    2. Благодаря примерно 4 МБ кода JavaScript и примерно 6 секундам скриптов эта страница идеально подходит для проблем с индексацией на основе JavaScript.
    1. Мы отслеживаем этот URL уже несколько месяцев, и я уверен, что эта страница не будет полностью проиндексирована даже после публикации этой статьи.

    Теперь приступим к диагностике.

    Шаг 1

    Проверьте, какой контент не отображается при отключенном JavaScript.Вы можете отключить JavaScript в Chrome Dev Tools, но есть и более простой и быстрый способ. Просто загрузите плагин Chrome «Quick JavaScript Switcher».

    Встроенное видео

    https://www.dropbox.com/s/eyn8owc8y28ymx3/Screen%20Recording%202020-08-26%20at%2011.49.16.mov?dl=0

    Вы можете видеть, что весь “ Рассмотрим эти популярные продукты» исчезает с отключенным JavaScript.

    Шаг 2

    Теперь нам осталось только посмотреть, решил ли Google отображать и индексировать контент, зависящий от JavaScript.Для этого просто воспользуйтесь сайтом: команда + «Рассмотрите эти популярные продукты».

    Теперь мы ясно видим, что Google не проиндексировал эту часть содержимого страницы.

    Как исправить?

    Решение этой проблемы — тема для отдельной статьи, но для простоты у вас есть несколько вариантов:

    1. Рендеринг на стороне сервера (предпочтительное решение) или предварительный рендеринг (часто не лучшее решение) Содержимое JavaScript для поисковых систем.
    2. Рассмотрите возможность оптимизации кода JavaScript, отвечающего за создание раздела «Рассмотрите эти популярные продукты».Фактически, в случае с Walmart это следует сделать в любом случае из-за всех проблем с веб-производительностью и UX (сдвиг макета), которые создает этот раздел.
    3. Рассмотрите возможность полного удаления этого раздела. Это может показаться чрезмерным, но в некоторых случаях, если ваша команда веб-разработчиков не может быстро оптимизировать этот раздел, удаление его до тех пор, пока они этого не сделают, может быть лучшим решением для ваших пользователей и для поисковых систем.

    Вот несколько других URL + фрагментов, с которыми можно поиграть:

    Частичная индексация на основе макета

    Это наше последнее открытие в области визуализации SEO, индексации и того, как Google понимает макет вашей страницы.Сотрудники Google действительно подтвердили проблемы индексации на основе макета, о которых мы рассказали во время нашего манифеста SEO-рендеринга в июне 2020 года.

    Позвольте мне быстро объяснить, как работает частичное индексирование на основе макета.

    1. Ресурсы Google ограничены.

    Всемирная паутина каждый день наполняется контентом. Эта проблема стала настолько серьезной, что Google необходимо экономить свои ресурсы, чтобы продолжать индексировать и ранжировать ценный контент

    1. Google может пропустить индексацию части вашей страницы, если она не связана напрямую с основным содержанием вашей страницы.

    Как объяснил Мартин, если ваша страница посвящена собакам, с точки зрения поисковой системы крайне важно убедиться, что весь ценный контент о собаках проиндексирован. Это означает, что все ваши разделы «похожие товары», «вас также могут заинтересовать» и т. д. могут быть вообще исключены из индексации, поскольку они не представляют ценности для поисковых систем. Назовем этот процесс расхламлением поисковой системы.

    1. Вы, как технический SEO-специалист, обязаны отслеживать, диагностировать и понимать все проблемы индексации на основе макета.

    Частичная индексация не всегда может быть плохой. Однако во многих случаях части вашей страницы, которые Google решил не индексировать, созданы «по причинам SEO».

    • Разделы со ссылками на новые продукты, чтобы убедиться, что они проиндексированы
    • Создание рейтинга страницы
    • Все другие формы внутренних ссылок для «ускорения индексации и сканирования» 

    Все упомянутые выше стратегии постепенно уходят в прошлое. Данные, которые мы собираем в TGIF, показывают, что во многих случаях эти решения часто приносят больше вреда, чем пользы, поскольку они не индексируются и очень затрудняют получение данных сканирования, которые действительно отражают структуру вашего веб-сайта, как ее видит Google.

    Давайте рассмотрим несколько примеров частичного индексирования HTML. Вы уже знаете, как диагностировать частичное индексирование, поэтому я оставлю это вам в качестве домашнего задания. 🙂

    1. сайт:https://www.merriam-webster.com/words-at-play/the-good-the-bad-the-semantically-imprecise-november-16-2018 Capricious’”
    1. сайт:https://www.merriam-webster.com/words-at-play/the-good-the-bad-the-semantically-imprecise-november-16-2018 “More Words At Play’”
    1. сайт:https://www.walgreens.com/store/c/saba-ultra-invisible-long-thin-pads-with-wings/ID=prod6381549-product «часто покупают на»

    Как заработать свое место в индексе Google?

    За последние несколько лет я провел сотни часов, изучая, как работает рендеринг и индексирование в Google. В этом году Google связался с нами и фактически подтвердил наши выводы, и, к моему удивлению, сотрудники Google, похоже, также очень заинтересованы в распространении этого сообщения.

    Печально то, что, говоря на эту тему, я заметил, как трудно сотрудникам Google заставить SEO-сообщество изменить наши подходы.

    JavaScript SEO, понимание того, как Google отображает ваш контент и как они понимают ваш макет, информационную архитектуру, основы веб-производительности и реальные пользовательские показатели, все еще не так популярны, как моделирование PageRank, ссылки в нижнем колонтитуле, «тексты SEO», «похожие элементы». », что «повышает индексацию».

    Я искренне надеюсь, что эта статья и все исследования по рендерингу SEO, которыми я делюсь с вами, помогут вам немного лучше понять эти гиковские аспекты технического SEO, чтобы мы все могли сосредоточиться на создании более качественных и быстрых веб-сайтов, которые не только поисковым системам легче понять, веб-сайты, которые на самом деле индексируются Google (и другими поисковыми системами) как , это больше не происходит по умолчанию.

    Нам нужно заслужить свое место в Google, и впервые в истории технического SEO мы так хорошо понимаем, как работает сканирование, рендеринг и индексирование.

    Добавить комментарий

    Ваш адрес email не будет опубликован.