Технология IndexNow: что это, как использовать и подключить на сайт

Технология IndexNow была анонсирована Яндексом в конце 2021 года. Цель — более быстрая индексация новых урлов. Вебмастеров или SEO-шников избавили от необходимости отправлять страницы на переобход — после настройки Индекс Нау все происходит автоматически. Мы подготовили для вас подробную инструкцию — как настроить этот протокол на сайтах WordPress, Opencart, Bitrix и Modx.

Что такое IndexNow

IndexNow — это протокол, автоматически сообщающий поисковику через API об изменениях, проведенных на сайте. Инструмент оперативно извещает робота о появлении новых страниц, изменении контента, удалении ненужных страниц. Принцип работы напоминает Sitemap — сервер передает боту только url страницы, которая обновилась. Контент алгоритм мониторит уже сам, после получения сигнала. Затем добавляет страницу в выдачу. Яндекс перенял этот инструмент у Bing, но главным разработчиком технологии является Microsoft.

Индекс Нау позволяет отправлять в базу данных до 10 000 страниц одновременно. Таким образом, поисковые системы моментально узнают про изменения. Это не полноценный API индексирования, а скорее более производительная XML-карта. Ботам уже не нужно сканировать ограниченные по размеру и актуальности карты сайта.

С другой стороны, новая технология не станет оптимальным решением для новостных сайтов и ресурсов, где контент меняется несколько раз в день. Но все же, поисковые системы отдают предпочтение урлам, найденным посредством IndexNow, так как это реально экономит время и увеличивает краулинговый бюджет.

Читаем – как заработать на своем сайте с посещаемостью.

IndexNow: зачем Яндекс ввел эту технологию

До появления IndexNow боты долго сканировали новые страницы сайта, так как просто не успевали мониторить web-ресурсы. Индексирование могло затянуться до 10-15 дней. Вебмастерам приходилось самим доставлять контент роботам, используя различные инструменты — переобход страниц в Яндекс Вебмастере, обновление файла Sitemape.xml, RSS-лента, плагины для перелинковки и т. д.

Целью внедрения технологии является повышение эффективности сканирования и снижение нагрузки на сервер. Cnews даже пишет, что Яндекс создал хитрый протокол для ускорения интернета. Конечно, в этом ему помог Microsoft — разработчик этого самого софта. 

Что такое знаки Яндекса и как их получить.

Как настроить IndexNow на сайте

Подключиться к IndexNow довольно просто. Нужно перейти на эту страницу, сгенерировать ключ для API, и разместить его в текстовом файле корневой папки сайта. Каждому домену нужен уникальный ключ, подстроенный под конкретную систему управления (CMS).

WordPress

Подробнее о том, как настроить инструмент на сайтах с движком WP. Перед этим у вас должен быть сгенерирован индивидуальный ключ.

Что делаете:

• помещаете ключ в текстовый файл и сохраняете на компьютере;
• загружаете файл в корневую папку своего сайта через панель управления хостинга или FTP.

Теперь о том, как настроить отправку Index Now. В этих целях можно использовать крутой плагин Clearfy Pro, который еще и автоматически исправляет технические ошибки WP и улучшает SEO.

Итак, вот как нужно отправить Index Now посредством этого плагина:

• после загрузки скрипта и подтверждения, что сайтом владеете и управляете вы, заходите в соответствующий раздел Clearfy;

• активируете кнопку включить Index Now — ключ сгенерируется автоматически;
• сохраняете изменения.

Все — инструмент должен нормально работать. Однако в процессе отправки протокол может присылать в ответ ошибки — error 422 или другие. Посмотреть их можно в Вебмастере или логах сервера.

Если не хотите заморачиваться с хостингом, то можете установить недавно появившийся плагин Index Now с собственной системой логирования. Это небольшой модуль, который после загрузки и активации будет автоматически обнаруживать изменения и отправлять урлы через API. Скачать его можно отсюда.

Полезная статья — как создать блог на WordPress.

Opencart

Новый модуль также совместим с Opencart 2.0 и выше. Здесь он равноценно работает со стандартными ЧПУ или улучшенными ЧПУ SEO PRO. Инструкция по установке Index Now на сайты с этим движком:

• скачиваете отсюда специальный архив с модулями Индекс Нау;
• загружаете его в админку Opencart — раздел «Модули/Установка»;

• переходите в «Каналы продвижения» и включаете модуль;

• вносите изменения под свои нужды;
• сохраняете настройки.

В конце обязательно проверьте корректность работы модуля. Если при первой отправке урла на индексацию вы получите ответ 202, то поисковик принял запрос. Однако нужно дождаться проверки ключа API — обычно занимает не больше 15-20 минут. 

Bitrix

Добавить Index Now можно и в Битрикс. Алгоритм действий практически не отличается: генерируем уникальный ключ, создаем файл txt, добавляем событие на обновление элементов.

Ниже подробнее, что и как делать:

• генерируем ключ — например, такой indexnow-MXpkVj76j.;
• создаем файл в txt — название и содержимое одинаковое;

• добавляем его в корневую папку сайта — файл должен открываться по адресу https://ваш_сайт.ру/ indexnow-MXpkVj76j.txt;

• вносим изменения в файлы /bitrix/php — подробнее о том, что за код вводить и куда;
• тестируем, все ли нормально запускается.

Modx

В этой CMS также приходится все делать вручную. Специальных плагинов для установки нет, но запросы отправляются быстро. Принцип настройки такой же, как на Bitrix.

Несколько важных рекомендаций по работе с Index Now:

• настраивайте автоматическое сканирование лишь записей — урлы страниц и рубрик сайта отправлять не нужно;
• не отправляйте в Index Now старый контент — суть технологии, ускорять индекс новых материалов, поэтому переиндексация без повода не требуется;
• не спамьте — хотя лимитов на запросы нет, техподдержка может наложить санкции за поисковый спам (обычно в этом случае прилетает ответ http 429 Too Many Requests);
• если у вас несколько доменов, то не обязательно генерировать для каждого из них уникальный код API — хватит одного, но файл с этим ключом надо разместить на всех сайтах;
• отправляйте данные об url только в одну поисковую систему, подключенную к IndexNow — например, если отправить в Яндекс, то Bing автоматически получит те же данные.

Отзывы SEO-специалистов об использовании IndexNow

Итак, по теории с внедрением Index Now новые страницы сайта сразу попадут в индекс, не дожидаясь очередного обхода краулерами. А как обстоят дела на практике, что говорят по поводу нововведения SEO-шники и вебмастеры. Нашли много отзывов в интернете, представляем их ниже.

1. Вебмастер Акулов пишет, что тестировал работу нового протокола в Яндексе. Ожидаемого эффекта не увидел. Пока много шума, а толку больше от старого и доброго «Переобхода».

2. Пока еще сырой считает технологию и Андрей Симагин. Пользуется «Переобходом», где бот индексирует практически моментально.

3. Также не видит особого смысла во внедрении Index Now Михаил Рычагов.

Большое исследование по Index Now провел Seo-аналитик Сергей Кокшаров — автор сайта Devaka. Целью анализа было узнать: как быстро страницы сканируются после запроса, за сколько индексируются, можно ли их оперативно удалять.

Вот какие результаты он получил, отправив запросы для разных страниц через Index Now и Переобход.

	Index Now	Переобход
Переиндексация	Нулевой эффект после 7 часов	Страницы пересканированы в течение 1 минуты
Сканирование 887 новых страниц	За 13 минут отсканированы 883 страницы	В течение 1 минуты отсканированы 100 страниц
Индексация новой страницы	Попадает в индекс через полчаса	Страница в индексе за 9 минут
Удаление из индекса	Никакого эффекта через 36 минут, возвращает ответ 404	10-12 минут

Выяснили, что Index Now плохо сканирует старые урлы, дольше добавляет в индекс и удаляет из индекса страницы. Зато в больших объемах и быстрее сканирует новые url. В этом плане «Переобход» тягаться с новым протоколом не может, так как имеет лимит на сканирование.

В связи с этим, вот какие рекомендации дает Сергей Кокшаров:

• используйте Index Now для сканирования новых url;
• как можно чаще отдавайте запросы — каждые 10 минут;
• используйте «Переобход», если Индекс Нау работает нестабильно.

Заключение

Если вы хотите получать более высокие позиции в поиске, то прежде всего, позаботьтесь о том, чтобы страницы сайта правильно и своевременно индексировались. В этом может помочь внедренная Яндексом новая технология IndexNow.

Читайте — как продвинуть сайт в топ.