Если вы хотите, чтобы ваши лендинги, блоги, персональные веб-страницы и прочий контент появились в результатах поисковой выдачи Google, ваш сайт необходимо проиндексировать. По сути, Index Google представляет собой огромную базу данных. Когда пользователи выполняют поиск в Google, поисковая система обращается к своей базе данных, чтобы предоставить соответствующий контент. Если какая-либо страница не была проиндексирована, она не существует для Google. В этом случае вы не сможете привлечь органический трафик на эту страницу через поисковую систему.
В этом руководстве мы расскажем об индексации и её важности. Прочитав его, вы узнаете, как проверить, была ли проиндексирована та или иная страница, как избежать распространённых проблем в техническом СЕО, препятствующих индексации, а также как заставить поисковых роботов проиндексировать ваш сайт впервые либо повторно.
Что представляет собой Google Index?
Простыми словами, Google Index – это перечень всех веб-страниц, которые известны поисковой системе. Если Google не проиндексирует ваш сайт, он никогда не будет отображаться в результатах поисковой выдачи. Представьте, что вы написали книгу, которая не попала ни в одну библиотеку или книжный магазин. Потенциальные читатели не смогут её найти, и возможно, даже и не узнают об её существовании.
Важность индексации веб-страниц
В базе данных Google отсутствуют страницы, которые не были проиндексированы её поисковыми роботами. Так, поисковая система не сможет отображать их в результатах поисковой выдачи. Чтоб проиндексировать сайт, поисковые роботы Google должны «просмотреть» его страницы. Давайте выясним, в чём разница между просмотром и индексацией. Поисковые роботы используют следующий алгоритм работы:
- просмотр – поисковые роботы сканируют сайт, чтобы выяснить, должен ли он быть проиндексирован или нет. Роботы Google ("Googlebot") постоянно сканируют глобальную сеть и выполняют переходы по ссылкам в поисках нового контента;
- индексация – роботы поисковой системы вносят сайт в базу данных (в случае с Google, эта база данных имеет название Index);
- ранжирование – поисковая система ранжирует веб-сайты, учитывая различные метрики, такие как релевантность контента, его полезность для пользователей и прочие.
Индексация означает лишь то, что конкретный сайт хранится в базе данных поисковой системы. И это не гарантия того, что он будет находиться в верхней части поисковой выдачи. Процесс индексации основан на нескольких алгоритмах, с учётом таких элементов, как пользовательский запрос, проверка качества. Влияя на то, каким способом поисковые роботы находят ваш контент, вы оказываете влияние и на процесс индексации сайта.
Как проверить был ли ваш сайт проиндексирован поисковыми роботами Google?
Несомненно, вы желаете проиндексировать свой сайт, но как узнать, был ли он уже подвержен этому процессу или нет? К счастью, поисковой гигант позволяет легко выяснить это с помощью поиска по сайту. Вот алгоритм действий для проверки:
- перейдите на страницу поиска Google;
- в строке поиска введите «site:example.com»;
- ниже под строкой поиска вы найдете несколько категорий результатов, включая «Все», «Картинки», «Новости» и прочие;
- чуть ниже вы увидите информацию о количестве проиндексированных страниц вашего сайта;
- если количество результатов соответствует нулю, значит Google не проиндексировала ни одной страницы вашего сайта;
В качестве альтернативы, вы можете воспользоваться Google Search Console. Создайте свой аккаунт на этом сервисе – это абсолютно бесплатно. Алгоритм действий для проверки индексации вашего сайта с помощью Google Search Console:
- войдите в свою учётную запись Google Search Console;
- выберите вкладку «Индекс Google»;
- далее выберите раздел «Статус индексирования»;
- в окне вы увидите количество проиндексированных страниц;
- если число проиндексированных страниц равно нулю, значит ваш сайт не проиндексирован Google.
Google Search Console полезен для проверки определённых страниц на предмет были ли они проиндексированы. Для этого просто укажите URL конкретной страницы. Если страница проиндексирована, вы увидите сообщение «URL находится в Google».
Какова длительность процесса индексации в Google?
Процесс индексации в Google занимает от нескольких дней до нескольких недель. Например, вы только создали новую страницу, но она долго не индексируется. Соответственно, пользователи не смогут найти эту страницу в поисковой системе. К счастью, вы можете повысить эффективность индексации. Ниже вы найдете мини-руководство по повышению скорости индексации страниц.
Как заставить Google проиндексировать мой сайт?
Самый простой способ заставить поисковую систему проиндексировать ваш сайт – запросить этот процесс через Google Search Console. Для этого используйте инструмент проверки через URL, укажите адрес страницы, которую вы хотите проиндексировать, дождитесь окончания проверки. Если страница не проиндексирована, нажмите кнопку «Запросить Индексацию».
Примечательно, Google временно отключала инструмент принудительной индексации в октябре 2020 года, однако сейчас он снова доступен.
Имейте ввиду, что индексация происходит не мгновенно. Если вы создали новый сайт, он вряд ли будет проиндексирован всего за одну ночь. Более того, если ваш сайт не соответствует критериям Google, он может быть не проиндексирован вовсе.
Будь вы простым владельцем сайта или интернет-маркетологом, желание повысить эффективность индексации является вполне логичным. Ниже мы приводим советы, которые помогут вам в этом.
Оптимизируйте файл Robots.txt
Robots.txt – это специальный файл, который указывает поисковым роботам, должен ли индексироваться сайт или нет. Этот файл также распознают поисковые роботы Bing и Yahoo. С помощью Robots.txt вы также можете приоритезировать страницы, чтобы не перегружать ваш сайт запросами. Хотя может показаться, что работа с этим файлом – удел технических специалистов, всё сводится к тому, чтобы убедиться, что та или иная страница доступна для просмотра поисковыми роботами. Используйте сервис On Page SEO Checker, чтобы упростить работу с этим файлом. Этот сервис предоставляет все необходимые сведения по текущим настройкам в файле Robots.txt, включая информацию о том, заблокирована ли страница для просмотра поисковыми роботами или нет.
Проверьте корректность написания СЕО-тегов
СЕО-теги – дополнительный инструмент управления работой поисковых роботов. Есть две категории СЕО-тегов, нуждающихся в оптимизации:
- Теги noindex – теги, запрещающие поисковым роботам проводить индексацию страниц. Если некоторые страницы вашего сайта не индексируются, возможно они содержат теги noindex. Проверьте наличие следующих двух тегов:
- Мета-теги. Найдите предупреждения «noindex page» чтобы выяснить, какие страницы вашего сайта содержат мета-теги noindex. Удалите мета-тег noindex, чтобы позволить роботам проиндексировать страницу.
- X-Robots-Tag. Чтобы увидеть, какие страницы содержат X-Robots-Tag в своих HTML-заголовках, перейдите в Google Search Console. Используйте инструмент для проверки страницы по URL, описанный выше. Посмотрите, каким будет ответ на вопрос касательно наличия разрешения на индексацию страницы. Если будет отображено «No: 'noindex' detected in 'X-Robots-Tag' http header», значит на странице существует тег X-Robots-Tag, который нужно удалить.
- Канонические теги – теги, указывающие поисковым роботам предпочтительную версию веб-страницы для индексации. Если канонический тег отсутствует, поисковой робот будет считать, что текущая версия страницы является единственной и предпочтительной для индексации. Если канонический тег присутствует, поисковой робот решит, что существует альтернативная версия текущей страницы и не будет её индексировать (даже если другой версии страницы на самом деле не существует). Используйте сервис URL Inspection Tool от Google для проверки наличия канонических тегов на страницах. Он отобразит сообщение «альтернативная страница с каноническим тегом», если канонический тег присутствует.
Перепроверьте архитектуру своего сайта, чтобы убедиться в правильности внутренней перелинковки и наличии эффективных бэклинков
Внутренняя перелинковка позволяет поисковым роботам быстрее находить ваши веб-страницы. Страницы, на которых отсутствуют ссылки, принято называть «сиротскими». Они индексируются крайне редко. Правильная архитектура изложенная в sitemap обеспечивает корректную внутреннюю перелинковку. В xml-файле sitemap содержится вся информация о контенте вашего сайта. С его помощью вы можете выявить страницы, на которых нет ссылок. Используйте приведенные ниже советы, чтобы повысить эффективность перелинковки:
- Устраните внутренние ссылки, ведущие на странице с тегом nofollow. Если поисковой робот натыкается на теги nofollow, он сообщает Google о необходимости исключить целевую ссылку из базы данных (Index). Чтобы избежать этого, просто удалите теги nofollow.
- Добавьте высокорейтинговые внутренние ссылки. Как уже было сказано выше, поисковые роботы находят новый контент в процессе сканирования вашего сайта. Внутренние ссылки ускоряют этот процесс. Повысьте скорость индексации, используя внутренние ссылки, ведущие на страницы с высоким рейтингом.
- Генерируйте качественные бэклинки. Учитывая новые алгоритмы поисковой системы, она определяет важность страниц и уровень доверия к ним по наличию ссылок от авторитетных ресурсов. Наличие бэклинков – сигнал для Google о том, что такая страница должна быть проиндексирована.
Размещайте высококачественный контент
Качество контента влияет как на процесс индексации, так и на процесс ранжирования. Чтобы повысить эффективность содержимого вашего веб-сайта, удалите некачественные и малопосещаемые страницы. Сделав это, вы заставите поисковых роботов сосредоточиться на более ценных страницах, обеспечив более эффективное использование времени, выделяемого вам на сканирование вашего сайта. Каждая ваша страница должна обладать определённой ценностью для посетителей. Кроме того, она должна содержать уникальный контент. Дублирование контента – тревожный сигнал для поисковой системы.
Анализируйте ключевые показатели СЕО для вашего сайта
Являетесь ли вы веб-мастером, администрирующим корпоративный сайт, JavaScript-программистом или простым блоггером, понимание основ СЕО является обязательным. Хотя СЕО кажется пугающим на первый взгляд, вам не нужно быть экспертом, чтобы разобраться в ключевых принципах поисковой оптимизации сайта.