Автоматизируем индексацию страниц через «Проверка ответа сервера» в Яндекс.Вебмастер

Сегодня хотим показать вам полезный скрипт, с помощью которого вы в автоматическом режиме сможете мониторить индексацию ваших (и не ваших тоже) сайтов и отдельных страниц.

Отличный инструмент, если вы льете через дорвеи, ведете сетку сайтов, пользуетесь ссылочными донорами или, скажем, добываете трафик в Яндекс Дзен. В общем, без долгих вступлений — приступим. 

За наводку и сам софт благодарим Алексеича и его одноименный Telegram-канал 💙

Что за софт и зачем он нужен

WebMaster Robot — это скрипт, написанный под BAS — программу автоматизации действий в браузере (аналог Зеннопостера, только на бесплатной основе). BAS уже вшит в установочный файл, так что искать его на просторах Сети не нужно. Достаточно просто скачать архив отсюда, запустить файл WMRobot.exe и дождаться окончания установки BAS и загрузки скрипта. После чего откроется такое окно.

Коротко о том, как это работает:

1. Вы вводите свои логин и пароль от аккаунта Яндекса.
2. Прикрепляете текстовый файл со ссылками на страницы, которые вы хотите проверить.
3. Запускаете скрипт.
4. Любуетесь результатами в логе. 

WebMaster Robot работает с неограниченным количеством URL. Автоматизированные действия максимально похожи на человека. Яндекс не ругается до 1500 ссылок. Потом нужно перезапустить и проверка пойдет дальше. 

Как пользоваться

Давайте сразу на примере. Возьмем наш сайт ProTraffic.com. Пробежимся по рандомным страницам, соберем немного ссылок и засунем их в текстовый документ. Получилось вот так. Обратите внимание, что одна ссылка — одна строка. 

Далее запускаем скрипт. Перед нами появляется вот такое меню, куда мы вписываем логин и пароль от Яндекс-аккаунта и прикрепляем наш текстовый документ с линками. Обратите внимание, что между логином и паролем нужно поставить двоеточие. 

Также в выпадающем меню «Список ботов для обхода» вы можете выбрать нужного вам робота. 

После того, как нажмете «Ок», скрипт сразу начнет вбивать ваши линки на страничке Вебмастера. Проверить, корректно заполнена форма выше или нет, вы можете кликнув на «Показать браузер». Там вы сможете наблюдать, что конкретно делает программа. 

Как видите по логу, с нашими страничками сайта все в порядке. В конце программа сигнализирует, что проверила все ссылки и подбивает статистику. 

Пара нюансов

Если софт не начал работу, скорее всего Яндекс просит ввести телефон/вторую почту/выбрать фото и прочие настройки безопасности. Нужно авторизоваться в аккаунте и отклонить данное предложение, после чего повторно запустить софт.

Программа может работать в многопоточном режиме. Чтобы запустить несколько потоков одновременно, просто сделайте несколько копий программы на рабочем столе и запустите каждую.

Проверяем на неиндексированных страницах

Есть у нас в загашнике один Дзен-канал, где несколько статей поймали пессимизацию. Сейчас посмотрим, как скрипт их обнаружит. Набиваем ссылки в текстовый документ и перемешиваем неиндексированные статьи и теми, что индексируются. 

Получилось, что первая ссылка ведет на неиндексированную страницу, вторая на индексируемую, третья опять на неиндексированную. 

Делаем все по инструкции выше. Ждем завершения проверки. 

Смотрим в лог. Скрипт показал все правильно. Можно брать и работать. Автоматизируем все, что можно автоматизировать!

Для чего можно использовать скрипт 

Единственная цель скрипта — экономить ваше время. Те, кто льет трафик через дорвеи, скорее всего до этого момента не дочитали и ушли: устанавливают софт, потому что для них WebMaster Robot — это просто находка, которую большинство коллег заказывают за денюжку. Ведь они имеют дело минимум с 5000 страниц, и вручную, как вы понимаете, проверять эту массу нереально. А тут, загрузил ссылки единожды и контролируешь ситуацию 24/7.

Для тех, кто полноценно развивает свой ресурс и сотрудничает с СРА-партнерками, также важно держать под контролем все свои страницы. Скрипт позволит вам отслеживать кол-во страниц в Яндексе, какие индексируются, а какие исключены из выдачи.