Как проверить индексацию сайта в поисковых системах Google и Яндекс

Труды вебмастера в SEO не принесут никакого результата, если сайт не попал в индекс поисковых систем – контент не будет отображаться в поиске, а на страницу не попадет органический трафик. Узнаем, как проверить индексацию сайта в поисковых системах Google и Яндекс. Такая процедура должна иметь регулярный характер, чтобы все контролировать и своевременно вносить изменения. 

Зачем нужна индексация сайта в поисковых системах

Индексацией называют анализ веб-ресурса и его внесение в поисковую базу. Этот процесс сравним с добавлением файлов в картотеку — за обработку отвечают алгоритмы Яндекса и Гугла. 

Роботы, заходя на сайт – комплексно проверяют контент, структуру, разметку. Если все хорошо, страница добавляется в базу поисковой системы, а информация отображается в выдаче при введении пользователями релевантного запроса. Когда алгоритмы в процессе работы находят проблемы – например, неуникальный контент или нерелевантность заголовка H1 тайтлу и содержанию, то документы не попадают в индекс и не получают органический трафик. 

Индексация – один из ключевых факторов продвижения, поскольку от нее зависит количество и качество приносимого трафика. Даже если сайт профессионально сделан и оформлен, он не попадет в поиск без проверки и оценки поисковыми алгоритмами. 

Принципы работы индексации сайта 

Чтобы попасть в выдачу поисковиков (Яндекс и Google и др.), web-page должны пройти три этапа обработки: сканирование, индексация и ранжирование. 

Сканирование

Операцию выполняет робот-планировщик, который находит новые материалы для дальнейшей обработки. Это называется обходом, основанным на анализе актуальности и популярности контента. 

Учитываются также дополнительные параметры:

• быстрота загрузки сайта;
• польза предложенной информации для посетителя;
• уникальность контента;
• удобство навигации;
• востребованность информации и т. д.

Боты постоянно мониторят новые страницы, добавленные вебмастером – включая также измененный контент.

Важно! Процесс сканирования еще не значит попадание в выдачу, поскольку это только подготовка к проверке.

Индексация

На втором этапе робот обрабатывает видео, аудио, текст, графику и т. д. Если контент соответствует требованиям ПС, то web-page попадает в индекс. 

Что именно делают алгоритмы на данном этапе:

• загружают документы и делят контент на разные типы данных – картинки, микроразметка, мета-теги, текст, видео;
• проверяют открытость к индексации – по тегу canonical;
• оценивают качество предоставленного контента.

После анализа алгоритм добавляет ссылки в поиск или ограничивает индекс.

Ранжирование

Добавление ресурса в поиск еще не значит, что сайт займет первые позиции в выдаче. За порядок отображения в SERP отвечают системы ранжирования, которые учитывают от 800 до 1200 факторов. На основе анализа этих критериев, странице начисляют определенный бал. В 2023 году на верхние строчки выдачи должны попадать сайты, у которых:

• есть ссылочная масса и возраст – старше 3-4 лет;
• тематика отвечает названию;
• минимальное количество багов и технических ошибок;
• контент уникальный, достоверный, интересный и полезный;
• удобная навигация – особенно важно для интернет-магазинов и других коммерческих ресурсов;
• хорошие поведенческие факторы – длительное время пребывания, переходы на другие разделы, активность и т. д.

Внимание! Каждые 3 месяца ПС обновляют алгоритмы ранжирования. Крутой вебмастер всегда следит за этим, и быстро подстраивается под новые условия.

Почему сайт может не индексироваться

Каждый вебмастер должен стремиться к тому, чтобы все информативные материалы ресурса попали в индекс – иначе его работа будет малорезультативной. Рассмотрим основные проблемы, которые мешают нормальному ранжированию сайта.

Новый сайт

Поисковым алгоритмам нужно время, чтобы присмотреться к новому ресурсу. Есть такой фильтр под названием «Песочница» –  он накладывается как раз на молодые сайты, обычно на три-четыре месяца, а потом автоматически снимается, если нет нарушений. Вновь созданный ресурс обходится роботом, но в выдаче отображаются не все разделы. 

Robots.txt

Файл роботс расположен в корневой папке сайтов. В нем прописаны указания для поисковых роботов. В том числе и ограничение индексации. Поэтому первым делом нужно проверить, нет ли в вашем robots.txt таких строк.

Если нашли, то замените на Allow.

Карта сайта

Файл sitemap.xml – это карта сайта, в которой собраны внутренние ссылки web-ресурса. Наличие файла существенно упрощает процесс сканирования. Если карта сайта отсутствует, то проверка затрудняется, а страницы длительное время могут не попадать в индекс. 

Индивидуальные настройки

На WordPress и других движках имеется возможность отключить индексацию через админку сайта. Проверьте в настройках, не этот ли у вас случай.

Если да, то срочно убирайте галочку. Хотя, несмотря на запрет, Гугл все равно индексирует такой сайт – но делает это с горем пополам. 

Теги nofollow и noindex

Иногда проблема кроется в коде. Обратите внимание на тег name=»robots» content=. Если окончание nofollow или noindex, то файл закрыт для робота. Чтобы исправить ситуацию, замените на follow или index.

Мусорные страницы

Они так и не попадают в выдачу из-за неуникального или бесполезного контента. Рекомендуем их удалить или прописать noindex – так как есть риск, что другие web-page ресурса с уникальным контентом не будут нормально ранжироваться.

Важно! Робот оценивает два типа уникальности: общую по сети и персональную в рамках сайта (повторы).

Долгая загрузка

Если страница грузится дольше 3-5 секунд, робот обычно ее пропускает. Из-за этого она не попадает в выдачу. Для решения проблемы нужна оптимизация с облегчением веса и структуры файлов. 

Структура и вложенность по URL

Если структура сайта неправильно сделана, то робот не поймет внутреннюю логику web-ресурса. Что касается вложенности: старайтесь не прятать документы на 4 уровень и дальше. Такое часто происходит в интернет-магазине с большим количеством папок и подпапок. Для ПС документ с глубокой вложенностью менее ценен, поэтому они его могут не индексировать.

Способы проверки индексации сайта 

Поисковые системы работают на основе собственных алгоритмов – поэтому методика проверки сканирования отличается. Рассмотрим основные способы, которые используют опытные SEO-шники.

Проверка индексации в Google Search Console

Заходите в Google Search Console – «Индексирование» — «Подробный отчет». Проверяете, какие именно страницы не попали в индекс и почему.

Например, по скрину видим, что 32 урла с тегом «Обнаружена, не проиндексирована». Как утверждает Google, это объясняется неудачной попыткой сканирования. Основные причины – неправильная структура, страница только добавлена вебмастером или она долго грузится.

Решение проблемы: оптимизировать контент и запросить повторное индексирование. Для этого переходите на вкладку «Проверка URL», вводите нужный урл и жмете эту кнопку.

Проверка индексации в Яндекс Вебмастере

В панели управления Вебмастера перейдите во вкладку «Индексирование» — «Страницы в поиске» — «Исключенные». Причина указана в правом столбце.

Вебмастер также предлагает ряд дополнительных отчетов:

1. По событиям. Во вкладке указаны последние изменения касательно всех URL, представленных в выдаче Яндекса. 
2. По страницам. Отмечены вкладки, которые включены в индекс. Если напротив ссылки указано searchable, значит, она успешно отображается пользователям. 
3. Весь ресурс. В этой группе находятся активные URL с кодовым обозначением напротив. Идеальной является отметка 200, а код 500 говорит об отключении с индекса. Возможна 404-я ошибка, если документ был удален, а редирект не настроен. 

А еще в Вебмастере работает интересная функция, которая позволяет быть в курсе последних изменений – называется «Мониторинг важных страниц». В эту вкладку можно добавить до 100 URL, о которых пользователь будет получать оповещение при каких-либо изменениях. 

Проверка индексации через поиск

Простой вариант анализа вашего сайта. Откройте поисковую строку Яндекса или Гугла, введите код оператора site: и после него интересующий URL. Если web-page не в индексе, то увидите следующее.

А если нормально ранжируется, то такое.

Проверка индексации с помощью онлайн-сервисов

Для проверки индексации создано много онлайн сервисов и плагинов, которые обеспечивают быстрый контроль выдачи. Наиболее популярные:

• Serpstat – работает в сопряжении с Google Search Console, и за один проход проверяет показатели индексации до 100 страниц; 
• PR-CY – это сервис для самостоятельного продвижения, с помощью которого можно провести пять бесплатных проверок в Google;
• ARSENKIN –  для Яндекса работает бесплатно, а проверки в Гугле по подписке.

Эти инструменты предоставляют оперативную информацию о выдаче по любой ссылке.

Проверка индексации через букмарклеты

Букмарклеты – javascript для браузера, позволяющие оперативно отслеживать информацию. Работают в автоматическом режиме. Для запуска пользователь нажимает на закладку, после чего начинается анализ сайта. Яркий пример – плагин RDS Bar, который работает на Опере, Хроме, Мозилле. Содержит аналитические данные о проверке всех открытых разделов и записей.

Проверить, все ли в порядке с сайтом – можно также через мониторинг позиций. Если страницы выпадут из индекса, вы сразу об этом узнаете.

Способы ускорения индексации в Google и Яндекс

Рассмотрим наиболее эффективные варианты ускорения индексации.

Запрос индексирования через Google Search Console

Мы уже писали об этом выше. В Search Console от Google подайте заявку на индексирование, что существенно ускорит обход робота. Для экономии времени, лучше всего добавлять ссылку на карту сайта.

Запрос на переобход страниц в Вебмастере

Ускорить процесс проверки через Вебмастер можно такими способами:

1. Обход web-page. Зайти во вкладку «Индексирование», и прописать ссылки, подлежащие проверке. Подтвердить действие и нажать кнопку «Отправить». 
2. Обход счетчика. Для этого необходима Яндекс.Метрика, к которой будет привязан сайт с правами собственности. В разделе «Индексирование» отыщите опцию «Обход по счетчикам». Это позволит страницам пройти автоматическую проверку роботом.

Такие простые действия существенно ускоряют попадание в выдачу.

Создание карты сайта 

Важным является создание файла Sitemap.xml в корневом разделе. Это отдельный блок, в котором собраны все ссылки веб-ресурса. Прием позволяет поисковым алгоритмам не упустить из вида активные разделы. Как правило, переход на карту выполняется с футера. 

Внешние ссылки

Реальный ускоритель ранжирования – публикация анонсов новых страниц на сторонних ресурсах. Чаще всего для этой цели используют социальные сети. Это позволяет увеличить поведенческие факторы, тем самым привлекая поискового робота для анализа. 

Google Indexing Api

Скрипт дает возможность пользователю отправлять поисковикам ссылки на обновленные или только созданные страницы. Существует суточный лимит на 200 урлов, чего более чем достаточно. Подробнее о том, как настроить Indexing Api.

IndexNow для Яндекс и Bing

Сервис предоставляет поисковику информацию о последних изменениях на веб-ресурсе. Кроме обновления контента, есть возможность быстро удалять ненужные страницы. Технология IndexNow проста в управлении и быстро привлекает робота на сайт. 

Как закрыть веб-ресурс или отдельные ссылки от индексации

Суть любого продвижения заключается в том, чтобы попасть в поиск. Но иногда нужно скрывать определенные части ресурса от индекса (дубли, технические разделы). 

Как это сделать:

1. Прописать запрет на индексацию в корневой папке robots.txt.
2. Проставить в console nofollow или noindex – например, через плагин Yoast Seo WordPress. Скрыть контент можно и отдельно для каждой поисковой системы, указав googlebot или yandex.

3. Удалить web-ресурс из автоматических сервисов вебмастеров.

Эти приемы позволят ограничить доступ алгоритмов на определенный период времени или навсегда. Поисковая индексация – ключевой фактор в продвижении сайта, который непосредственно влияет на трафик и прибыль. Поэтому владельцу ресурса надо регулярно контролировать этот показатель и своевременно вносить корректировки.