Проиндексировать сайт в поисковых системах – Как проиндексировать сайт в поисковиках: способы быстрой индексации

Если вы хотите зарабатывать на сайтах, нужно научиться создавать сайты, соответствующие требованиям поисковых систем либо успешно их нарушающие. Не думаю, что кто-то поделится с вами опытом, как обмануть поисковики, а вот о том, как создавать нормальные сайты, я буду писать в блоге. Хотя, совсем не важно — хороший у вас сайт или плохой, белый или серый. Чтобы хоть что-то заработать с него, нужно проиндексировать его в поисковых системах.

Из списка поисковиков, веб-мастерам, работающим в рунете, особенно интересны Гугл и Яндекс. Яндекс, все же, важнее. Если сайт не будет проиндексирован Яндексом, о продаже ссылок можно забыть. Да и трафика в Яндексе больше, чем в Гугле. Поэтому проиндексировать сайт в Яндексе – наиболее приоритетная задача для веб-мастера.

По опыту скажу, если сайт проиндексировал Яндекс, то и Гугл проиндексирует. Потому что у Яндекса требования к сайтам пожестче, и если его взяли в индекс, то и в Гугл сайт, скорее всего, попадет (или уже давно попал).

Как быстро проиндексировать сайт в Яндексе и Гугле?

Создав сайт, можно просто сидеть и ждать, когда поисковые роботы придут на сайт и что-нибудь возьмут в индекс. Ждать этого пришествия можно от нескольких часов до бесконечности. Поэтому я советую не ждать, а действовать. Действовать – значит быть

Для быстрой индексации сайта в поисковиках есть несколько манипуляций:
1. Самый древний и банальный способ для быстрого индексирования – это добавить сайт в аддурилки ПС.

2. Прежде чем добавлять сайт в аддурилки, советую привести его в порядок и создать благоприятные условия для роботов. Создайте xml карту сайта и правильный файл robots.txt.

3. Добавьте сайт в webmaster.yandex.ru и google.com/webmasters/tools и загрузите xml карту сайта.

4. Самый эффективный способ быстро проиндексировать сайт в поисковых системах – это проставить ссылки с других сайтов на ваш. Чем качественнее будут сайты-доноры, тем больше шанс, что сайт быстро проиндексится.

Где можно взять ссылок?
Мест на самом деле очень много. Кто-то ищет бесплатные ссылки – с профилей, форумов, каталогов и rss-агрегаторов, кто-то меняется ссылками или просит друзей проставить ссылку, кто-то настраивает кросспостинг, прогоняет сайт по закладкам и т.д..

Говорят, что довольно хорошо помогают в индексации ссылки с твиттера. Многие размещают анонс поста со ссылкой именно для того, чтобы пригласить робота на свой сайт.

Кто-то не парится и покупает ссылки. Лично я для молодых непроиндексированных сайтов покупаю вечные ссылки в ГГЛ. Беру пару ссылок с дорогих, трастовых сайтов. Специально выбираю такие сайты, на которых контент обновляется каждый день и посещаемость хорошая. Роботы просто живут на таких сайтах. И если мы проставим свою ссылку они последуют по ней. Ну и несколько штук покупаю с простеньких, но не загаженных сайтов.

Также, чтобы быстро проиндексировать сайт, можно купить немного ссылок в Сапе или другой подобной бирже. После индексации – ссылки можно снять. Но я такое не практикую, хотя думаю, ничего плохого в этом нет – главное, чтобы ссылок было не много.

Совет: не стоит молодой непроиндексированный сайт регистрировать в куче каталогов или спамить по блогам и форумам. Получив на свой сайт много некачественных бэков, вы только навредите сайту.

Никто не дает гарантию, что после всех этих манипуляций сайт проиндексируется. Если сайт упорно и долго не индексируется, значит либо проблема в контенте, либо в доменном имени. Часто бывает, что сайт не индексится из-за того, что у домена серая или черная история жизни в ПС. Если вы зарегисрируете домен, на котором совсем недавно был дорвей, то ждать индексации вам придется очень долго.

Если вы, все же, обнаружили проблему с доменом или проблем нет, но сайт долго не индексируется, то пишите вопрос через Я.Вебмастер в поддержку. Там вам, может быть, что-нибудь подскажут.

Ага, и не теряйте время. Вместо того, чтобы пассивно ждать индексации в поисковиках, лучше делайте еще один сайт или изучайте чего-нибудь. Всем успехов!

blogwork.ru

что это такое и 7 её способов ускорить

Всем привет!

В этой статье я расскажу о том, что такое индексация сайта. Уверен, многие прекрасно понимают значение этого термина, но я постараюсь рассмотреть его более глубоко.

Мы поговорим о том, как улучшить индексацию сайта, какие действия нужно выполнить для того, чтобы поисковые роботы относились к проекту лояльно. Также мы кратко затронем тему требований поисковых систем и санкций за их невыполнение.

Давайте начинать!

Определение

Представьте, что сайт – это документ или несколько документов с информацией. Поисковая система – сборник таких документов, работающий по определенным правилам. Он помогает пользователям в кратчайшие сроки найти документ с нужной информацией. Для этого необходимо проверить каждый документ, посмотреть, какого рода в нем информация, после чего разместить его где-то относительно других документов. Это и есть индексация.

Индексация – это добавление информации о сайте в базы данных поисковиков.

Роботы приходят, сканируют весь контент, если все хорошо, – контент заносится в поисковые базы и начинает ранжироваться относительно других проектов.

После этого материалы попадают в поисковую выдачу. Позиция в поисковой выдаче может зависеть от качества материалов, самого ресурса, технической и внешней SEO-оптимизации и других факторов.

Поисковые системы заинтересованы в том, чтобы их пользователи получали качественные материалы в выдаче. По этой причине поисковая оптимизация претерпела очень много изменений за последние годы.

Раньше вебмастеры старались угодить роботам, делая свои проекты максимально “удобными” для индексации. Сейчас же роботы научились отличать “сеошный” бесполезный контент, от качественного и адекватного.

Поэтому для хорошей индексации не хватит простой SEO-оптимизации. Нужно понимать, что сейчас поисковые системы отдают предпочтение ресурсам с хорошими поведенческими факторами. Их можно добиться только при разработке проекта для людей.

За переоптимизацию или создание некачественного бесполезного контента ресурс может попасть под санкции. Это может включать в себя как простое снижение приоритета, так и полный запрет индексации со стороны поисковиков – материалы проекта удаляются из поисковых баз данных и больше никогда туда не попадают.

Если устранить все ошибки и больше никогда не допускать их, поисковики возвращают сайт к нормальному состоянию. Для этого придется написать в техническую поддержку с просьбой о проверке текущего состояния проекта.

У каждой поисковой системы есть свои правила. В большинстве своем они почти ничем не отличаются, поэтому вебмастеры стараются оптимизировать свои проекты сразу и для всех.

Особенности работы с поисковыми системами

Яндекс и Гугл – два наиболее популярных поисковика в России и СНГ. В основном люди, работающие с информационными проектами, стараются оптимизировать их именно под эти сервисы.

Когда вы только создаете свой сайт, то поисковые системы еще ничего не знают о нем. Поэтому для того, чтобы ресурс попал в поисковую выдачу, вы должны каким-то образом сообщить сервисам о том, что он существует.

Для этого можно использовать два способа:

Способ 1. Разместить ссылку на каких-то сторонних проектах.

В этом случае проект будет проиндексирован максимально быстро. Поисковик посчитает, что ваш сайт полезный и интересный, поэтому он сразу направит роботов для анализа содержимого.

Способ 2. Сообщить поисковикам о ресурсе при помощи специальных инструментов.

В Яндексе и Гугле есть специальные сервисы для вебмастеров. С их помощью вы сможете отслеживать состояние своих ресурсов относительно поисковых систем: смотреть статистику, количество показов, кликов, добавленные или удаленные страницы и т. д.

При добавлении сайта в эти инструменты вы сообщаете поисковикам о том, что проект существует. И если нет никаких запретов через Robots.txt или мета-теги, то он будет проиндексирован и добавлен в выдачу.

Срок добавления сайта в базу данных может быть разным: от нескольких дней до недели. Но обычно с этим не затягивают, особенно если ресурс добавлен в Yandex.Webmaster и Search Console.

Не забывайте, что добавление в базу данных – еще не означает, что материалы сайта сразу будут доступны по определенным запросам. Для этого может понадобиться дополнительное время. Роботы тщательно изучат содержимое проекта, и только после этого статьи будут доступны к показу по запросам.

Если вы решите не открывать ресурс сразу, а подождать, пока он заполнится определенным количеством материалов, то после отправки на анализ может пройти чуть больше времени. То есть, чем больше информации на проекте, тем дольше придется ждать полной индексации.

В среднем между отправкой сайта в сервис и появлением статей в выдаче проходит 1 – 2 недели.

Помимо вышеописанных способов добавления ресурса в поисковую базу, существует еще один, менее эффективный. Вам просто нужно ввести в поисковую строку следующие команды:

• Для Яндекса: Host: Название + site.ru.
• Для Google: Site: Название + site.ru, где site.ru – ваш домен.

Также вы можете попробовать добавить ресурс при помощи автоматических сервисов. Какой будет результат – неизвестно. Но я полагаю, что эти сервисы просто воспользуются командами или размещением ссылки где-либо.

Как проверить индексацию

Проверка индексации – тоже очень важный момент. Нужно удостовериться, что все страницы были восприняты как надо.

Если вы добавили сайт через инструменты для вебмастеров, то статус индексации можно узнать прямо там – в соответствующем разделе. В нем будет дана подробная информация о том, когда робот посещал страницу последний раз, какой статус он ей присвоил и т. д.

Также вы можете проверить статус при помощи строки поиска. Для необходимо воспользоваться специальными операторами. Их можно найти в документации для Яндекса и Гугла.

Если вам нужна массовая проверка, то вы можете воспользоваться специальными сервисами:

Отправление страницы на переобход

Если вы хотите, чтобы робот обошел материал еще раз, то вам необходимо отправить страницу на переобход. Это можно сделать при помощи панелей для вебмастеров.

В Яндекс.Вебмастере

Перейдите в “Индексирование” – “Переобход страниц”.

Введите адреса нужных документов в столбик – одна ссылка – одна строка. После этого нажмите кнопку “Отправить”. В течение нескольких часов робот Яндекса вновь проиндексирует материал.

В Search Console

Нужно ввести нужный адрес в поле в верхней панели – далее кликнуть на кнопку “Запросить индексирование”.

Как ускорить индексацию

Чтобы ускорить индексацию, вы должны соблюсти несколько требований. В первую очередь, это добавление ресурса в поисковую систему – желательно через сервис для вебмастеров. Далее следуют повседневные рекомендации, выполняя которые, вы можете добиться ускорения этого процесса.

1. Добавлять на сайт интересный контент. Будет лучше, если размещение материалов на ресурсе будет носить регулярный характер. В таком случае высока вероятность того, что на вашем проекте будут обитать быстроботы – они индексируют статьи в течение нескольких часов.
2. Оптимизировать скорость загрузки при помощи сжатия картинок, оптимизации HTML, CSS, JS. Будет хорошо, если вы подберете для своего проекта быстрый виртуальный хостинг.
3. Сформировать правильную структуру сайта, добавить функционал для удобной навигации. Поисковики могут оценивать, насколько ваш ресурс удобен для пользователей.
4. Настроить перелинковку между материалами, рубриками и прочими страницами. Когда робот анализирует какую-то страницу со ссылками, он автоматически еще и индексирует те документы, на которые эти ссылки ведут.
5. Создать правильный robots.txt. Вы должны закрыть ненужные технические страницы, оставив только само содержимое. Так в ранжирование не будет попадать мусор, это гарантирует, что ПС будут чаще посещать ваш проект.
6. Создать XML-карту сайта и добавить ее в Яндекс Вебмастер и Search Console. С помощью этой карты Яндекс и Гугл будут ориентироваться по материалам. Это в значительной мере улучшит скорость анализа. Также можно сделать обычную карту сайта для пользователей. С ее помощью ваши гости смогут легко находить нужные статьи или рубрики. Это улучшит поведенческие факторы и видимость в ПС.
7. Создать профили своего проекта в социальных сетях и регулярно размещать там ссылки на статьи. Это элемент крауд-маркетинга, который сейчас очень хорошо воспринимается ПС.
8. Регулярно проверять сайт на ошибки и устранять их. Самые серьезные будут отображаться в сервисах для вебмастеров. Также вы можете закидывать ресурс на валидатор, чтобы определить ошибки в HTML/CSS-коде.

Раньше для этих целей использовали пингование. Оповещение ПС при помощи специальных плагинов или сервисов о выходе нового поста. Сейчас такой формат почти не используется. Яндекс и Гугл ограничили этот функционал, теперь в прежнем варианте пинг использовать нельзя.

Как закрыть сайт от индексации

Для этого мы можем использовать два способа:

Просто нужно удалить все содержимое этого файла, добавив вместо него:

User-agent: *

Disallow: /

С помощью этой строчки вы скажете всем поисковым роботам, что ваш ресурс индексировать не нужно – ни одной странички. Если до этого какие-то материалы попали в ранжирование – они будут удалены.

Также можно запретить индексацию для роботов какой-то отдельной поисковой системы. Для этого вместо звездочки, в User-agent: вы должны ввести название этого робота. Например, Yandex – для Яндекса, Googlebot – для Google.

Когда вы передумаете, вам нужно будет просто удалить этот код и добавить вместо него нормальное содержимое файла.

• С помощью мета-тегов

На каждой странице должны быть размещены следующие мета-теги:

<meta name=»robots» content=»noindex, nofollow»/>

<meta name=»Yandex» content=»noindex, nofollow»/> – если хотим закрыть для какой-то конкретной ПС, то в поле name вставляем имя робота.

Разместить такие мета-теги можно при помощи плагина Yoast SEO. В нем есть отдельные параметры, которые отвечают за индексацию. Можно закрыть как отдельную страницу, так и весь ресурс в целом.

Закрывать от индексации отдельные страницы при помощи мета-тегов считается хорошим тоном. Это и проще, и быстрее – не надо по многу раз дополнять файл robots.txt.

Заключение

Для того, чтобы ваш сайт хорошо индексировался, вы должны соблюдать совсем несложные требования. Нужно просто добавить его в Яндекс Вебмастер и Search Console, следить за регулярным выходом качественных материалов, своевременно исправлять ошибки и не нарушать правил.

Все это гарант того, что ваш проект будет на хорошем счету у роботов. А это, в свою очередь, будет иметь материальное значение. Ваши статьи будут выше в выдаче, дохода будет больше.

Некоторым новичкам бывает очень сложно разобраться со всеми тонкостями SEO-оптимизации. Очень много разной информации и не всегда она правильная. Если вы один из таких новичков, то я рекомендую вам пройти курс Василия Блинова “Как создать сайт”.

Из материалов с этого курса вы сможете узнать о том, как создать собственный информационный проект под монетизацию. Там рассмотрены наиболее важные нюансы, которые должен учитывать каждый вебмастер.

iklife.ru

Индексация сайта в поисковых системах

СОДЕРЖАНИЕ

Что такое индексация сайта и как она происходит

Как проверить индексацию сайта

Проверить индексацию сайта в Яндекс.Вебмастере

Проверка индексации сайта в Google Search Console

Индексация сайта в Майл (Mail.ru)

Индексация сайта в Bing.com

Сервисы проверки индексации сайтов

Как ускорить индексацию сайта

Быстрая индексация сайта в Яндексе

Индексация картинок сайта

Вопросы

Как запретить индексацию сайта

Как открыть сайт для индексации

Когда последний раз проходил индексацию сайта

Как добавить сайт на индексацию

Что такое индексация сайта и как она происходит

SEO продвижение сайта невозможно без индексации сайта. Чтобы повысить поведенческие факторы, необходимо, чтобы страницы были проиндексированы. Индексация сайта — что это такое простыми словами? У каждой поисковой системы есть свой собственный поисковый робот. Он может в любой момент зайти на сайт и «погулять» по нему, передавая все отсканированные документы (весь html-код, текст, изображения, ссылки и все остальное) в базу своей поисковой системы. Этот процесс принято называть «сканированием».

Далее поисковая система анализирует полученные данные и выставляет ссылки на документы в поисковую выдачу. Именно это и подразумевается под фразой «индексация сайта».

Ну а теперь давайте искать ответы на вопросы «как ускорить индексацию?» и «как улучшить индексацию?»

Как проверить индексацию сайта в Google и Яндекс

Существует несколько способов получения ответа на вопросы «а проиндексирована ли эта страница?», «сколько страниц проиндексировано?» и т.п. Рассмотрим некоторые из самых эффективных. Но для начала маленькое уточнение – обработка поискового запроса и формирование поисковой выдачи происходит на основе проиндексированных «копий» страниц, находящихся в базе данных поисковой системы, а не на основе имеющихся на сайте страниц. Ну а теперь о трех способах проверки индексации:

1. Кабинеты поисковых систем Яндекс, Google, Mail.ru и т.д. Уж там-то со 100% вероятностью можно получить все необходимые данные.

2. В Рунете полно подходящих онлайн-сервисов. Практически все они работают одинаково: указывается адрес сайта и получаем данные и вся история индексации сайта как на ладони.

3. Ручная проверка с помощью оператора site:. Т.е. вбиваем в поисковую строку site:your-site.guru и тут же получаем и список проиндексированных страниц (в виде поисковой выдачи), и их количество.

Проверить индексацию сайта в Яндекс.Вебмастере

Заходим в https://webmaster.yandex.ru/ и логинимся. Далее переходим в «Индексирование сайта» — «Страницы в поиске» (как вариант — «Индексирование сайта» — «История» — «Страницы в поиске»). Здесь можно посмотреть статистику последних изменений в индексации и даже выявить исключенные из индекса страницы.

Проверка индексации в сайта Google Search Console

Чтобы проверить индексацию сайта в Google, нужно первым делом зайти в https://www.google.com/webmasters/tools/home, логинимся, после чего на боковой вкладке «Индекс Google» выбираем «Статус индексирования».

Индексация сайта в Майл (Mail.ru)

У поисковой системы Mail.ru тоже есть свой вэбмастерский кабинет — https://webmaster.mail.ru/. Заходим туда, логинимся и через форму go.mail.ru/addurl добавляем сайт на индексацию. Радует тот факт, что Mail.ru все-таки решила разрабатывать и продвигать свои собственные инструменты для вебмастеров.

Индексация сайта в Bing.com

Кто не в теме, поисковая система Bing была разработана корпорацией Microsoft (ей и принадлежит), чтоб заменить поиск Live Search. В России она пользуется очень малой популярностью. Однако, есть те, кто успешно получает с нее достаточно много поискового трафика. К слову, «пригласить поискового бота» можно и без регистрации – заходим на www.bing.com/toolbox/submit-site-url, вводим адрес сайта, капчу, кнопку «Отправить» и всё!

Сервисы проверки индексации сайтов

В Рунете существует достаточно большое количество сервисов по массовой проверке индексации сайтов. О некоторых из них мы и поговорим.

1) Сервис http://www.seogadget.ru/sepages

Здесь можно сразу закинуть столбиком список сайтов, которые необходимо проверить на индексацию. Причем в списке могут быть как исключительно имена доменов (например, your-site.go), так и ссылки на какие-то конкретные документы (например, your-site.go/content/domashka/) – это не имеет значения, т.к. имена доменов сервис «вычленяет» автоматически.

Данный сервис умеет проверять индексацию в Google и Яндексе. Допускается до 250 проверок в сутки.

2) Сервис http://xseo.in/indexed

Если коротко, то сервис полностью аналогичен предыдущему, за двумя исключениями:

• сервис проверяет индексацию «поштучно», т.е. за один заход можно проверить только один сайт;
• можно проверить индексацию еще и в Bing’е.

Как ускорить индексацию сайта

Вряд ли у кого-то из вас возникнет вопрос «а зачем ускорять индексацию?», т.к. ответ на него и так очевиден: чтоб как можно быстрее предпринять все необходимые меры для завоевания всех топовых позиций по продвигаемым запросам.

Самое первое, что нужно сделать – добавить сайт в Ваши вебмастер-кабинеты от Google и Яндекса. Если этого не сделать, то сайт будет индексироваться очень медленно и очень редко, оставляя вебмастера наедине со своими пестами о покорении хотя бы ТОП-10.

Далее необходимо правильно настроить robots.txt, т.к. за одно посещение поисковый робот может отсканировать лишь определенное количество страниц. И будет очень обидно, если робот начнет сканировать страницы «технического» характера (например, страница регистрации на сайте, либо страница ввода логина-пароля), которым в индексе делать нечего. Чтоб этого не происходило, в файл robots.txt заносятся данные о том, какие страницы сканировать не нужно. О том, как составляется robots.txt, сейчас рассказывать не будем, т.к. у нас уже есть подробнейшая статья на эту тему.

Следующим этапом является настройка xml-карты сайта (sitemap.xml). Она содержит в себе список всех страниц, которые должны быть проиндексированы поисковыми системами. Также можно указать приоритет индексирования, и даже интервалы. Чем чаще будет обновляться карта сайта – тем выше вероятность того, что поисковый робот примет решение заходить на сайт почаще (а нам именно это и нужно, верно?).

Скорость работы сайта также может повлиять на индексацию, т.к. чем быстрее поисковый робот получает ответ на свой запрос – тем лучше, ибо если сказать роботу «у нас обед, приходите через час» — робот просто уйдет, причем надолго.

Ошибки в коде также могут повлиять на индексацию, только негативно. Поэтому крайне важно, чтоб ошибок в коде не было совсем, т.к. вместо кода 200 (а именно такой код отдается при правильной работе) поисковый робот может получить код, например, 404, либо другой, свидетельствующий об ошибке.

В большинстве случаев, описанных выше мер достаточно, чтоб сайт индексировался достаточно быстро.

Быстрая индексация сайта в Яндексе

Есть еще пара неочевидных способов ускорить индексацию нового сайта в Яндексе. Мы уже многократно упоминали о регистрации в вебмастер-кабинетах от Яндекса, Google, Bing и Mail.

В данных кабинетах можно получать статистику о переиндексации страниц, а также получать уведомления о тех или иных ошибках, связанных с работой сайта.

А вот теперь небольшой «лайфхак». В Яндекс.Вебмастере идем в «Индексирование» — «Переобход страниц» и указываем адрес только что созданной страницы. Да, мы не спорим, это не всегда срабатывает, т.к. поисковый робот Яндекса после уведомления действует на свое усмотрение и не всегда принимает решение о посещении этой страницы, но он о ней как минимум узнает. Поэтому мы рекомендуем пользоваться данным инструментом для ускорения индексация нового сайта или его страниц.

Индексация картинок сайта

В основном получение данной информации будет полезно в том случае, если Вы продвигаете, скажем, фотохостинг.

Важно отметить, что у Google, Bing и Яндекса текст и картинки индексируются разными роботами. Быстрее всего картинки индексируются Google’ом. Яндекс индексирует картинки гораздо медленнее по сравнению с Google, но гораздо быстрее по сравнению с Bing, причем последняя медленно индексирует только рунетовские сайты. Не доверяет?

Однако, есть один универсальный совет по оптимизации изображений – прописать в коде атрибуты alt=”” и title=”” для каждого изображения, т.к. они оба очень важны.

Если навести на картинку, то может «всплыть» поясняющая текстовая подсказка, чтобы пользователю было проще понять «куда смотреть и что видеть». Текст этой самой подсказки и прописывается в атрибуте title=””

Также бывают ситуации, когда изображение по каким-то причинам не загружается (может оно удалено, может в браузере отключена загрузка картинок – неважно). В этом случае вместо фотографии должен появиться текст, описывающий, что именно изображено на картинке, которая не загрузилась. Именно этот текст и прописывается в атрибуте alt=””.

Как узнать, сколько картинок проиндексировано поисковиком?

Ответ предельно прост: идем в интересующую нас поисковую систему, в поисковой строке вбиваем оператор site:, после двоеточия без пробела прописываете имя домена, подтверждаем запрос клавишей Enter, а затем переходим на вкладку «Изображения» или «Картинки» (в зависимости от поисковой системы). Вы увидите сами картинки, а также узнаете их точное количество.

Для Яндекса это будет выглядеть вот так:

А для Google – вот так

Вопросы

Как запретить индексацию сайта

Иногда возникает необходимость установить запрет на индексацию сайта. Причин на это может быть несколько – технические работы на сайте, либо тестируется новый дизайн, и т.д.

Способов сказать поисковым системам «не надо тут ничего индексировать» несколько.

Самый первый, самый популярный и самый простой – через файл robots.txt. Достаточно просто прописать вот этот код:

User-agent: *

Disallow: /

Теперь давайте разберем, что этот код означает.

User-agent – это директива, в которой указывается имя поискового робота, для которого сформирован список правил. Если в качестве имени указана звездочка – значит список актуален для всех поисковых роботов (кроме тех, для кого составлены индивидуальные списки правил). Если же указать вместо звездочки имя поискового робота, то список правил будет действовать именно для него:

Директива Disallow: предназначена для того, чтобы сообщить поисковым роботам, какие файлы/папки сканировать не нужно. В нашем случае одиночный слеш показывает, что запрещено индексировать весь сайт целиком.

Бывают и особые случаи, когда требуется закрыть индексацию для всех поисковых систем, кроме какой-то конкретной. В этом случае у нас будет 2 списка (один из которых приведен выше на скриншоте), а второй – индивидуальный список для какого-то конкретного робота. В данном случае – робота поисковой системы Яндекс.

User-agent: *

Disallow: /

User-agent: Yandex

Allow: /

С User-agent и Disallow разобрались, теперь разберемся с директивой Allow. Она является разрешающей директивой. Говоря простым языком, приведенный выше код файла robots.txt запрещает индексацию сайта всем поисковым системам, кроме Яндекса.

Да, мы не спорим, не смотря на запреты, поисковые системы все равно могут проиндексировать сайт. Однако, это бывает настолько редко, что даже статистической погрешностью можно назвать с большой натяжкой.

Второй способ – метатег robots. Для этого необходимо в код сайта добавить следующую строку:

META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”

ВАЖНО!!! Можно ее добавить таким образом, чтоб она прогружалась в код каждой страницы сайта без исключения, а можно добавить на какие-то отдельные страницы. Но в обоих случаях данный мета-тег должен быть размещен в области head html.

По сравнению с первым, второй способ является более сложным для массового запрета на индексацию, и более легким для точечного.

Третий способ – закрытие сайта через .htaccess

Способ тоже довольно простой – добавить в файл .htaccess следующий код:

Теперь поисковый робот не сможет без пароля получить доступ к сайту.

Это самый верный способ закрыть сайт от индексации, но появляется другая проблема – возникают сложности со сканированием сайта на наличие ошибок, т.к. не каждый парсер умеет авторизовываться.

Способ 4 представляет собой настройку заголовка ответа HTTP

Данный способ так же достаточно эффективен для точечного запрета на индексацию. Работает это следующим образом – вместе с кодом ответа сервера отдается еще и X-Robots-Tag заголовок с пометкой noindex. Получив такой «сопроводительный» ответ, поисковая система не будет индексировать данную страницу.

При необходимости можно отдавать несколько X-Robots-Tag заголовков. В данном случае их два noarchive и unavailable_after.

При необходимости можно перед директивой указывать еще и поискового робота, которому адресована директива, да и сами директивы можно писать через запятую. Например, вот так:

Ну и, конечно же, Вы уже и сами догадались, что при отсутствии имени юзер-агента команда будет выполняться всеми роботами. Т.е. директивы можно по-разному комбинировать для разных поисковых роботов.

Как открыть сайт для индексации

Ответ ранее уже прозвучал – с помощью директивы Allow (вспомните пример, когда с помощью robots.txt мы закрывали от индексации сайт для всех поисковых систем, кроме Яндекса).

Еще раз:

Allow: / разрешает индексацию сайта, а Disallow: / запрещает.

Когда последний раз проходила индексация сайта

Посмотреть и историю обхода страниц поисковыми роботами Google достаточно просто. Для начала в поисковую строку вбивается оператор site:, после двоеточия без пробелов указывается имя Вашего домена, затем кликаем в «Инструменты» и выбрать в одном из столбцов подходящий период. Если выбрать «за последние 24 часа», то можно получить либо список станиц, которые были проиндексированы за последние 24 часа, либо получить «Ничего не найдено». Это значит, что за последние 24 часа переиндексации Вашего сайта не было.

В Яндексе же сделано все еще проще – вся необходимая информация и история доступна в Яндекс.Вебмастере:

Как добавить сайт на индексацию

Данная информация будет полезна всем, кто только что создал свой первый сайт, т.е. чем быстрее проиндексируется сайт – тем быстрее Вы получите свой первый поисковый трафик.

Добавление сайта в Google

Для начала переходим по ссылке http://www.google.com/addurl/?continue=/addurl, логинимся (при необходимости), вводим URL, проходим капчу (в данном случае – ставим галочку «Я не робот» и проходим 1-2 задания с картинками), и жмем «Отправить запрос».

Затем Вам будет выдано вот такое сообщение. Оно означает «ОК, сайт принят к сведенью, скоро мы туда заглянем».

Если с сайтом все в порядке, то индексация произойдет очень быстро.

Добавление сайта в Яндекс

Первым делом заходим на https://webmaster.yandex.ru/, регистрируемся, затем переходим в «Индексирование» — «Переобход страниц» и добавляем туда имя домена Вашего сайта. Всё.

Добавление сайта в Bing

Тут все еще проще – идём сюда http://www.bing.com/toolbox/submit-site-url, вводим имя домена, капчу, и все – готово! Регистрация при этом не требуется.

ВАЖНО!!! На данный момент продвигать в Bing русскоязычные сайты бессмысленно, в отличие от англоязычных. Это связано с тем, что в России крайне мало кто знает про поисковую систему Bing.

Добавление сайта в Поиск Mail.ru

Данная процедура тоже достаточно проста – переходим в кабинет вебмастера mail.ru по ссылке http://go.mail.ru/addurl, регистрируемся/логинимся, затем указываем имя домена сайта, вводим капчу и жмем «Добавить».

Затем на экран будет выведено вот такое сообщение:

Готово!

P.S. Индексация сайта на WordPress, Wix, Joomla, Ucoz или на любой другой CMS или конструкторе — ничем не отличается. Все зависит от набора правил, которые прописаны в файле robots.txt или же в самом коде страниц. Более подробно узнать о том, как правильно настроить файл robots.txt, а также как открыть или закрыть страницы от сканирования в Яндекс и Google прочтите ЭТУ статью! Также, в статье вы найдете готовые файлы robots для правильной индексации сайтов WordPress, Joomla, Wix в Яндексе и Гугле.

stokrat.org

Индексация сайта в поисковых системах

В прошлом разделе мы подробно поговорили про внутреннюю оптимизацию сайта. Теперь переходим к изучению вопроса индексации сайта.

А что же это такое вообще? Индексация сайта в поисковых системах — это процесс сбора информации о сайте поисковым роботом. Поисковый робот обходит сайт и добавляет в свою базу всю найденную информацию: текст, картинки, видео, ссылки и т.д.). Эта база называется индексом поисковой системы.

Получается если сайт добавлен в индексную базу, то это значит поисковик о нем знает. После этого другие алгоритмы уже проверяют сайт на условия соблюдения лицензии поиска и принимают решение о ранжировании сайта в выдаче.

Соответственно, что бы получить переходы с поисковой системы, на страницы, которые мы продвигаем, они все должны находится в индексе поисковой системы. Проще говоря – быть проиндексированными.

Но вы должны понимать, если страница попала в индекс, это еще не значит, что она появится в поиске, для этого ее нужно еще оптимизировать и продвинуть. Так же думаю понятно, что если какая-то страница не попала в индекс ПС, то она ни как не может появиться в серпе.

Вывод напрашивается очевидный — полная индексация страниц сайта в основных поисковых системах Яндекс и Google это неотъемлемый процесс продвижения. Чем быстрее новый сайт проиндексируется в ПС, тем лучше.

Методы индексации страниц сайта

Сообщить поисковой системе о новом сайте или о новых страницах на сайте можно несколькими способами.

1) Добавить сайт для индексации через addUrl (так называемую адурилку) в самом поисковике. «Адурилка» — это специальная форма для ввода адреса вашего сайта, что бы сообщить поисковой системе о новом web-ресурсе. После добавления в форму addUrl web-сайт записывается в очередь для индексации.

Как правило, достаточно добавить только главную страницу сайта, остальные поисковый робот найдет сам по внутренним ссылкам или карте сайта. Как раз вспоминаем статью про задачи перелинковки. При данном методе индексация сайта может замет затянуться на пару недель.

2) Пригласить на сайт индексирующего бота через внешние ссылки. Если на ваш сайт есть внешние ссылки с других сайтов, то рано или поздно бот придет с них. Чем больше ссылок — тем быстрее придет бот. Но, важно знать, что не все сайты часто посещаются роботами.

Поэтому если вы разместите ссылку на хорошем, часто обновляемом портале (например, новостном), то есть большая вероятность, что индексирующий бот быстро обнаружит ссылку на ваш сайт и придет. И наоборот, с заброшенного ресурса можно ждать месяц и более. Для индексации советую использовать сервис по регистрации в каталогах 1ps. Реально очень помогает.

3) Комбинированный способ, т.е. сочетание первого и второго. Например, я чаще прибегаю ко второму способу, т.е. размещаю ссылки на других сайтах. Чаще всего в твиттере. Начальная индексация сайта зависит от многих факторов, начиная от оптимизации сайта и заканчивая капризами поисковиков, и может длится от пары дней до нескольких недель.

В следующей статье мы поговорим про поисковых роботов.

Поисковые роботы
Добавление сайта на индексацию поисковыми системами
Как ускорить индексацию сайта
Как проверить индексацию сайта поисковыми системами
Как запретить индексацию страниц сайта поисковыми системами
Почему не индексируется сайт
Почему сайты выпадают из индекса ПС

Оглавление

Статьи по теме:

seob.info

Как ускорить индексацию сайта Яндексом и Google

Пожалуй, самый волнующий вопрос всех вебмастеров это как ускорить индексацию сайта в поисковых системах.

Причем если Google индексирует быстро и не надо прилагать особых усилий, то индексация в Яндексе иногда затягивается надолго. Поэтому, рассматривая сегодня вопрос ускорения, мы будем в первую очередь подразумевать ускорение индексации сайта в Яндексе.

Ускорить процесс индексации можно как платными методами, так и бесплатными. Для получения гарантированного результата желательно использовать сразу несколько перечисленных ниже способов. Итак, переходим к самим способам ускорения. Я решил описать все бесплатные способы ускорения индексации, какие только возможны.

Быстрая индексация сайта в Яндексе и Google

1) Структура сайта. Продумайте и постройте структуру своего сайта так, что бы поисковый робот без труда добрался до любой страницы. Очень желательно сделать вложения страниц не более трех кликов от морды. В противном случае индексация может затянуться.

2) Внутренняя перелинковка сайта. О пользе внутренней перелинковки я уже писал. Как раз одна из ее задач это ускорение индексации ресурса. Мы помним, что бот ходит по ссылкам внутри сайта, чем больше ссылок ведут на разные страницы. Тем быстрее бот их найдет и включит в индекс.

3) Карта сайта (sitemap). Это должен быть неотъемлемый элемент любого веб-сайта. Ее основная и единственная задача — это ускорение нахождения роботом всех страниц сайта. Показать Google и Яндексу карту сайта, можно через панель вебмастера. Так же путь к ней указывается в файле robots.txt. Так же будет полезным сделать html вариант карты сайта, которая будет доступна в одном клике т главной. Все сомнений, что карта сайта хорошо помогает ускорить индексацию внутренних страниц сайта.

4) Добавление сайта в панель вебмастера Яндекса и Google. Панели вебмастера дают широкие возможности по контролю за разными параметрами сайта. И если для хороший сайтов это плюс, то для откровенных ГС будет минусом. Если у вас СДЛ то смело добавляйте.

5) Добавление в адурилки ПС. Можно добавить как новый сайт, так и новые страницы на сайте непосредственно в саму ПС через специальную форму addurl. Подробно про это читайте в статье добавление сайта на индексацию.

6) Добавление сайта в популярные рейтинги. Такие широко известные рейтинги как Рейтинг@Майл, Рамблер ТОП100 и LiveInternet часто посещаются поисковыми ботами. Соответственно если они найдут там ссылку на ваш сайт, то перейдут на него.

7) Регистрация в трастовых каталогах. Не поленитесь и отправьте заявки на добавление сайта в трастовые каталоги. Они есть у всех популярных поисковиков: На Яндексе это Яндекс.Каталог (с 2018 года не принимают новые сайты), у Googla это DMOZ (закрылся в 2017 году) и Каталог Майла. На самом деле регистрация в них нужна не для индексации а для набора траста сайта. Ведь попасть в каталог, даже если ваш сайт туда примут можно в лучшем случае через три месяца (для Я.Каталога). В дмоз же вообще можно прождать год, там жуткая нехватка модераторов и сайт будет висеть на рассмотрении до посинения…

8) Прогон по каталогам. Речь идет про регистрацию в куче низкосортных каталогов. Вручную делать это безумие, нужно пользоваться специальными сервисами. Например, я раньше пользоваться сервисом 1PS. Он мне очень нравился тем, что в ночное время можно было работать с сервисом совершенно бесплатно. В то время каждая копейка была на счету. Сейчас этот сервис предоставляет большое количество услуг, не только прогоны.

9) Публикация статей в каталогах статей. По сути, это тоже самое, что пункт выше, только там мы размещаем ссылки, а тут статьи. В сети есть большое количество таких каталогов, а так же сервисы рассылок по ним. Прогон по каталогам статей для ускорения индексации нового сайта так же можно сделать через упомянутый выше сервис.

10) Использование социальных закладок. Социальные закладки хорошо индексируются поисковиками. Вы можете сделать прогон по социальным закладкам или вручную добавить ссылки на страницы своего сайта. Отличие от прогона по каталогам в том, что в каталоги можно добавить только главные страницы, а в закладки еще и внутренние.

11) Размещение анонсов и пресс-релизов на трастовых сайтах. Процесс полностью ручной и очень трудоемкий. Я собрал свою базу трассовых сайтов через один сервис, который сейчас загнулся.

12) Используем сервисы вопросов и ответов. Сервисы вопросов и ответов очень любят поисковые боты, наравне с пользователями, которые там тусуются. Там тоже можно оставить ссылку на свой сайт, как самому, так и найти исполнителя через адвего. Если у вас нет прокаченной репы, то вашу ссылку, скорее всего, удалят модераторы. Они там очень злые))). Поэтому лучше найти хорошего исполнителя и работать с ним. Google прикрыл свой сервис, теперь там можно только читать, а вот на Mail.ru еще можно.

13) Комментарии в тематических блогах. Качественные блоги, которые не завалены рекламой, часто обновляются и имеют постоянных читателей так же часто посещаются поисковыми роботами. Такие блоги тоже можно использовать для ускорения индексации. Конечно, если будете спамить толку не будет, админы будут удалять ваши ссылки. Просто добавляйте ссылку в предназначенное для этого поле. Найти такие блоги легко, можно воспользоваться одним из Интернет-рейтингов, спросите в Яндексе «рейтинг блогов».

14) RSS-трансляция. Если на вашем сайте есть такая возможность, можно организовать RSS-трансляцию в специальные RSS-каталоги. Анонсы ваших новых материалов на других сайтах смогут привести поисковых ботов на ваш ресурс. Рекомендую добавить трансляцию в эти каталоги: Feedreader.ru, Feedburner.com, Newsread.ru, LiveRSS.ru, Rssreader.ru, Plazoo.com.

15) Используйте популярные форумы. Хороший способ ускорить индексацию сайта это ссылка в профиле популярного форума (если профиль открыт к индексации) и ссылка в подписи. Найдите топовые форумы по вашей тематике и зарегистрируйтесь в них. Боты любят форумы с большим количеством новых ежесуточных сообщений. Участвуйте в «горячих» диалогах на форуме и бот найдет вашу ссылку в подписи. Помимо индексации такие ссылки еще дадут и трафик на сайт, пусть не большой, но все же.

16) Пингование. Популярные движки для сайтов, типа WordPress обладают функцией пингования. Т.е. они посылают сигнал ПС о новой странице на сайте. Если у вашей CMS есть такая функция — почему бы не воспользоваться ей.

17) E-mail рассылка. Доказанный факт, что быстрая индексация сайта возможна при почтовых рассылках. Особенно если люди будут переходить на рекламируемый сайт по ссылкам из почты. Самый популярный сервис для e-mail рассылки Subscribe.ru. Вам нужно там зарегистрироваться и организовать выпуск рассылки.

18) Блоги на бесплатных блогохостингах. Блоги на бесплатных хостингах LiveJournal.com (он же ЖЖ), Blogger.com, Liveinternet.ru, Blogs.Mail.ru и т.д. тоже могут помочь нам в индексации нового сайта. Заводим там себе новый блог и ставим ссылки на нужный сайт. Боты любят эти сервисы и обязательно заметят появление нового блога. Что бы ускорить этот процесс, можно завести «дружбу» с другими блогерами этого сервиса.

19) Социальные сети. Я оставил это на закуску. В данный момент это один из лучших способов ускорения индексации сайта. Особенно твиттер. Обязательно заведите себе твиттер аккаунт. Прокачайте его как следует, и это будет незаменимая вещь для индексации новых страниц сайта. Буквально через минуты, после публикации ссылки в прокаченном твиттере, станицы появляются в выдаче Яндекса. Раскрутить твиттер можно этим софтом

20) Свои сайты в помощь. Если у вас уже есть другой сайт, который в индексе — поставьте с него сквозную ссылку на новый сайт. Бот найдет ее и перейдет для изучения нового сайта.

21) Через систему автоматического продвижения SeoPult. Делается проект и закупаются ссылки на нужные вам страницы, например на карту сайта, главную и страницы разделов.

Вот мы и рассмотрели все возможные бесплатные способы повлиять на скорость индексации нового сайта или страниц. Существуют и платные способы, но они все однотипны — это размещение ссылки на чужом веб-сайте. Лично я, когда мне это нужно, иду в биржу sape делаю там проект, и покупаю 2-3 ссылки на крупных новостных сайтах. В идеале купить морду, хоть цена ее и большая. Но мы покупаем на день-два, этого достаточно для приглашения бота на сайт.

Думаю данный вопрос рассмотрен более чем подробно, пришло время поговорить, а как же проверить индексацию сайта в различных поисковиках.

Оглавление

Статьи по теме:

seob.info

Google и Яндекс не индексируют сайт: причины, руководство что делать

Форумы вебмастеров пестрят грустными постами по поводу того, что сайт плохо индексируется поисковыми системами. А ведь это основа SEO-продвижения, без которой популяризация интернет-ресурса практически невозможна.

Обидней всего, когда над созданием web-проекта трудился дорогостоящий программист, а на его наполнение контентом ежемесячно тратится внушительная сумма.

Однако Яндекс и Гугл не спешат индексировать отдельные страницы или даже целый сайт. Почему так происходит?

На этот вопрос нет однозначного ответа: существует множество причин.

Важно выявить конкретную проблему (технические ошибки, дубляж страниц, нестабильную работу хостинга или санкции поисковиков) и сделать все для ее решения. Есть хорошая новость — ситуацию можно исправить. Хотите, знать как? Читайте дальше!

Нормы индексации сайтов

В Яндекс

Yandex сканирует и добавляет новые страницы примерно два-четыре раза в месяц. Попасть в поисковую выдачу раньше способны лишь трастовые и часто обновляемые порталы — внушающие доверие сайты индексируются быстроботом Яндекса ежедневно.

В Google

Что касается Гугла, обновления могут занять от одного дня до двух недель. Здесь многое зависит от категории вашего сайта. Например, ресурсы с актуальными новостями и живые форумы роботы проверяют с завидной регулярностью.

Материалы часто обновляемых порталов обычно сканируются в тот же день или на следующий. Индексация блога, в котором каждую неделю появляется новый контент, нередко задерживается на 2–4 дня.

Совсем печально обстоит дело с третьесортными сайтами, а также совсем молодыми веб-проектами, только что появившимися в Сети. Поисковые роботы могут игнорировать их в течение месяца.

Важно! Вышеописанные данные актуальны при добавлении малого количества страниц в индекс. При добавлении большого количества страниц одномоментно, скорость индексации может увеличиться в несколько раз.

Особенно долго будут индексироваться страницы с малой ценностью для посетителей.

Что делать, если новый сайт не индексируется поисковиками?

Под это определение подходит ресурс с возрастом домена до полугода, который не имеет обратных ссылок и ранее не продвигался.

Добавить сайт в панели вебмастеров

Вы только что создали сайт и ждете чуда под названием «быстрая индексация»? Такая стратегия ошибочная, ведь в первое время Гугл и Яндекс не обращают на новый сайт внимание. Помогите своему проекту заинтересовать роботов — сделать это достаточно просто: надо лишь добавить сайт в поисковые системы.

Важно! Использование сервиса Яндекс. Вебмастер и Google Webmaster не только ускорит добавление страниц в индекс, но и позволит эффективнее работать над оптимизацией сайта. Представленные инструменты бесплатно открывают вебмастерам множество возможностей для диагностики, получения рекомендованных для продвижения запросов и привязки сайта к конкретному региону.

Улучшить сайт

Пора заняться внутренней оптимизацией: систематически создавать первоклассный контент, улучшить юзабилити, сделав удобные рубрики, а также позаботиться об адаптивности и перелинковке. После этого следует задуматься о внешнем продвижении. Оно включает в себя работу с социальными факторами и размещение естественных ссылок у надежных доноров.

Если сайт все так же не индексируется Яндексом, необходимо написать в техническую поддержку поисковика. В результате вашего запроса вы получите информацию о наличии бана, фильтра или установите другую объективную причину возникшей проблемы.

Как проверить индексацию сайта?

Используйте в запросе оператор Site

Узнайте количество просканированных и добавленных в индекс страниц путем введения в строку поиска Гугл и Яндекс «site: url вашего сайта». Благодаря дополнительным настройкам легко получить данные о произошедших за конкретный промежуток времени изменения.

К примеру, сегодняшняя проверка российской версии Википедии показала, что за последние 2 недели на этом сайте появилось 143 новых материалов.

Учтите! Разница между показателями разных поисковых систем является поводом для тревоги. Чаще всего это свидетельствует о возможном попадании под фильтр Гугла или Яндекса.

Введите в поисковик url страницы

Этот способ идеален для проверки индексации отдельно выбранной страницы.
Для Google

url:https://ru.wikipedia.org/

Для Яндекс

info:https://ru.wikipedia.org/

Через панель вебмастеров

Если вы ранее уже зарегистрировались в Яндекс. Вебмастер, то при переходе на данный сервис сразу увидите число загруженных материалов и тех, что находятся в поиске. В идеале их количество должно совпадать или быть похожим на реальное количество страниц сайта.

Более детальную информацию вы получите при переходе на основную панель, после чего необходимо нажать «Индексирование» и «Страницы в поиске».

Анализируя полученный отчет и ищите страницы, которые не индексируются.

В новом Google вебмастере также есть инструмент для анализа индексации.

С помощью Key Collector проверяем индексацию большого количества страниц

Скачанный и установленный на компьютере многофункциональный инструмент облегчит работу любому оптимизатору. Он позволяет автоматизировать процесс, значит, вам не придется вручную проверять сотни, а то и тысячи документов.

Чтобы воспользоваться этим методом, требуется собрать парсером список всех страниц, а затем добавить перед каждым адресом оператор url для Google или info для Яндекс. Хотите сэкономить время и нервы — воспользуйтесь для этого автозаменой в блокноте. Дальше надо загрузить полученные данные в Key Collector, не забыв о настройке XML для быстрого анализа результатов.

Также, нужно настроить правильно поисковые системы, для корректного парсинга. URL лучше добавлять без смены регистра.
У проиндексированных материалов в графе «Позиция по запросу» будет стоять единица. Сверьте ваш URL со страницей на первом месте. Они должны совпадать.

Это метод не идеален, но имеет право жизнь.

Как решить проблемы индексации?

Вариант 1: Сайт долго не индексируется, роботы не видят свежие материалы — в индекс попадает мало новых страниц, процесс осуществляется медленно.

Узнайте далее, что может быть причиной столь плачевной ситуации.

Редкое обновление контента

Для SEO-продвижения нужно вовремя подкармливать роботов новой порцией качественного контента, тогда они будут чаще заходить на ваш сайт. Причем на поведение поисковиков положительно влияют даже незначительные улучшения старых статей в виде более удачных иллюстраций, обновлений даты публикации или добавления цитаты эксперта.

А вот если робот приходит и видит, что за период его последнего посещения ничего не изменилось, сайт не будет нормально индексироваться в будущем. Более того, ждите ухудшения позиций в выдаче: ресурс, остановившийся в развитии, опережают конкуренты.

То есть

Если вы публикуете не регулярно — это может быть причиной. Если это не ваша ситуация, то читайте далее.

Плохое качество контента

За последние годы и читатели, и роботы стали более требовательными к размещенной в Рунете информации. Важную роль играет не только техническая, но и смысловая уникальность / полнота статей, картинок, видео.

При этом ключевые слова должны вписываться в текст естественно, а за переспам есть шанс попадания под фильтры поисковиков.

То есть

Если публикуемый контент малополезен или состоит из 100 слов, то вряд ли он попадет в индекс. Необходимо менять подход к написанию контента или качеству страниц.

Заинтересованы в генерации отличного контента?

Возьмите на вооружение LSI-копирайтинг, который сейчас в почете у поисковых систем. При качественном оформлении, полном раскрытии темы с использованием ключей и списка дополнительных синонимов, ассоциаций вам не придется беспокоиться о том, что страница не будет индексироваться в поисковых системах.

Наличие дубликатов

Секретом успешной технической оптимизации является отсутствие одинаковых мета-тегов и текстов; полных копий страниц. Если таковые имеются, закройте лишние данные от индекса при помощи meta name=«robots» content=«noindex, nofollow» или пропишите на них 301 редирект.

В противном случае поисковики запутаются в похожих документах и удалят их из выдачи.

Проблемы с краулинговым бюджетом

Существует определенный лимит на количество страниц, индексируемых роботом за единицу времени.

Краулинговый бюджет Google напрямую зависит от PageRank ресурса. Чем выше данный показатель, тем большее число документов будет проиндексировано. Соответственно, для масштабных сайтов крайне важно повышать критерий своей ценности путем регулярных обновлений, увеличения посещаемости и приобретения ссылок. Иначе некоторые страницы могут не индексироваться в Гугле.

То есть

Если сайт молодой, то у него низкий краулинговый бюджет. И если вы хотите проиндексировать большое количество страниц, то эта процедура может занять на порядок больше времени.

Технические нюансы для ускорения сканирования

Добавление sitemap.xml

Эта карта, созданная для поисковых систем, дает роботам возможность быстро найти все страницы, независимо от их числа и уровней вложенности. Кроме того, она повышает доверие к вашему сайту, позволяет указывать дату обновления и расставлять приоритеты.

Алгоритм действий следующий: сгенерируйте sitemap.xml с учетом стратегии продвижения, загрузите карту в корень сайта и добавьте в панели вебмастеров.

Обновление http-заголовков Last-Modified и If-Modified-Since.

Last-Modified сообщает поисковикам о последних изменениях в документе, направляя роботов сразу к обновленным страницам и свежим материалам.

Ответ сервера на запрос If-Modified-Since снижает нагрузку на краулинговый бюджет, к тому же улучшает позиции контента при сортировке по дате.

Проверить этот заголовок можно тут — https://last-modified.com/ru/if-modified-since.html

Вариант 2: Сайт вообще не индексируется в Яндексе и Гугле, страницы выпадают из индекса.

Код ответа сервера

Убедитесь, что страница содержит код сервера 200 ОК — это означает: она действительно существует, доступна к просмотру для пользователей и поисковых систем.

Проверка осуществляется при помощи специальных сервисов.

Например, http://www.bertal.ru/index.php?a1910327/
Если код ответа не 200 ОК, то именно в этом может быть причина не индексации страницы.

Robots.txt

В файле robots.txt недопустимы запреты на индексацию сайта и отдельных страниц, а также работу конкретного поисковика.

Важно! Обязательно проверьте сформированный robots.txt на ошибки. Сделать это можно в Google Вебмастер: нажмите на «Сканирование», а затем на «Инструмент проверки файла robots.txt».

Meta Robots

Часто сайт не индексируется в Гугле, если добавление сведений в базу данных запрещено в мета-тегах. Обязательно удалите в HTML-коде строкии если они есть на важных страницах.

Чтобы проверить откройте код страницы и сделайте поиск строки.

Либо используйте плагины для браузера, такие как расширение Seo Meta in 1 Click для Google Chrome.

Rel Canonical

Многие неопытные оптимизаторы неверно настраивают атрибут rel=canonical.

Хотите, чтобы страница попала в индекс поисковика? Тогда она не должна ссылаться на другой канонический документ.

Чтобы проверить откройте код страницы и сделайте поиск строки.

Либо через тот же плагин

Вебмастера

Используйте Google Webmaster Tools для выявления ошибок сканирования, из-за которых роботы не получают ответы на запросы.

Перейдите в раздел «Просмотреть как Googlebot» введите адрес страницы, и нажмите кнопку «Получить и отобразить».

Когда получите результат, сравните, что видит Google и пользователь. Картинки должны быть одинаковыми. Если нет, то ищите причины блокировки файлов.

Протестируйте скорость загрузки и время ответа сервера. Убедитесь, что выбранный вами хостинг работает стабильно.

Файл .htaccess

Если сайт не индексируется, он может быть заблокирован в файле .htaccess.

Проверьте .htaccess на наличие таких строк:

RewriteCond %{USER_AGENT} Googlebot
RewriteRule.* — [F]

Либо такой вариант, который будет отдавать роботу Google 404 ошибки.

RewriteCond %{USER_AGENT} Googlebot
RewriteRule.* — [R=404]

Поищите в файле другие варианты блокировок с использованием USER_AGENT или названия поисковых ботов: googlebot, yandex и т. д.

AJAX и JavaScript

Распространены проблемы с языками AJAX и JavaScript. Блог Яндекса для вебмастеров рекомендует создать в структуре ресурса определенную схему, которая сообщит поисковым системам о необходимости индексации.

Санкции

Еще одна серьезная проблема — наложение санкций на страницу или даже весь сайт. Узнайте в техподдержке поисковой системы (только Яндекс), за что именно (ссылки, переспам, неуникальный контент) вас наказали, после чего оперативно исправьте ситуацию.

Как уже говорилось ранее, причиной отсутствия внимания к странице часто является низкокачественный и дублированный контент.

Вряд ли робот будет заинтересован в ваших материалах, если в выдаче уже имеются похожие документы, продвигаемые по тому же семантическому ядру.
Негативно влияет на скорость индексирования незрелый возраст домена, а также забаненный ранее б/у домен. В таком случае стоит написать запрос на пересмотр в Яндекс.

Итоги

Если сайт не индексируется Яндексом или Гуглом, значит, на то есть объективная причина. Ваша цель — выявить и решить проблему. Спустя некоторое время необходимо снова проверить индексацию страницы. Если вы все сделаете правильно, положительные изменения не заставят себя долго ждать!

Если у вас сложный случай, рекомендую обратиться за консультацией к специалистам. Команда Livepage проконсультирует и выполнит SEO-аудит, который решит все проблемы с индексацией в поисковых системах.

livepage.pro