Как проверить сайт на битые ссылки: поиск и анализ

Один из этапов работ по оптимизации web-ресурса — поиск битых ссылок на сайте. Вред для SEO от них ощутимый, поэтому вебмастер должен знать, как найти broken link, провести анализ причин и восстановить работоспособность линка, сделав, например, редирект. Проверка осуществляется через различные сервисы, о которых пойдет речь в статье.

Что такое битые ссылки на сайте

Битые ссылки или broken link — это url-адреса на страницы, которых не существует на вашем ресурсе. Когда пользователи переходят по ним, то видят ошибку — 404 или Not Found.

Причин появления таких ссылок бывает несколько:

• вы специально или ошибочно удалили страницу либо изображение с этим урлом, но пользователи продолжают по ним переходить;
• вы сменили адрес страницы, но в кеше остался старый url;
• сайт переехал на новый домен;
• контент на вашем ресурсе опубликован сторонним пользователем, который оставил неправильный линк;
• в ссылке есть опечатка — не хватает какого-то символа;
• проблема с хостингом — если скорость сканирования бывает низкой (<10 потоков), некоторые из сайтов не справляются с нагрузкой, поэтому часть страниц отдает 503 код ответа (обычно это связано с нехваткой внутренних ресурсов для обработки всех входящих запросов);
• проблема с системными файлами — в частности, для взаимодействия с WP используется файл xmlrpc.php, но линк на него для поисковых систем и пользователей выглядит как битый с ошибкой 404;
• некорректно выставлены права доступа к файлам сайта или скриптам — это приводит к появлению ошибки 403;
• используется защита файлов через HTTP-авторизацию — если на блоге применяется такой метод защиты данных от неавторизованных пользователей, страница будет отдавать 401.

Битые ссылки есть практически на каждом крупном сайте. На VC.ru опубликован материал, в котором автор специально провела исследование двух десятков web-площадок с топовыми метриками Ahrefs Rank. На всех ресурсах нашлись broken link — с кодами ответа 400, 404, 405, 503. Большинство проблемных линков вели на служебные файлы.

Чем вредны битые ссылки для SEO

Большое количество поломанных линков негативно влияют на продвижение одностраничных сайтов, больших информационных ресурсов, интернет-магазинов и блогов другого типа. Главный вред от них — ухудшение поведенческих факторов. Например, пользователи вводят запрос, переходят на страницу, видят ошибку и уходят. В результате увеличивается количество отказов, уменьшаются просмотры и продолжительность посещения. Поисковые системы не прощают такие короткие визиты, поэтому возникают проблемы с ранжированием.

Как бы там ни было, broken link — «мертвый груз», от которого нужно избавляться. Пользователей раздражает, когда они ищут информацию, а в результате попадают на страницу с пустым контентом. Можно конечно круто оформить страницу 404, но это не гарантирует того, что посетитель останется на вашем ресурсе (перейдет на главную или в другой раздел).

Примеры битых ссылок

Есть несколько типов битых ссылок, отдающих разные коды ошибок:

• 3xx — это битые редиректы, которые возвращают код 404 или недоступны из-за разрыва соединения, превышения времени ожидания ответа и т. д;
• 4xx — коды состояния HTTP в ответ сервера, когда в запросе от клиента есть ошибка (400-неверный запрос, 401-несанкционированный запрос, 403-доступ к ресурсу запрещен и т. д);
• 5xx — любые внутренние ошибки, из-за которых сервер не может выполнить запрос (500-Interval Server Error, 503-Service Unavailable и т. д).

А теперь возьмем любую рабочую ссылку и попробуем ввести ее неправильно в браузере. Например, вместо site.ru/rubrika/bitaya-ssylka введем site.ru/rubrika/bitaya-ssylka-/. Такого урла в базе сайта нет, поэтому вы автоматически попадете на страницу ошибки. У ресурсов бывает разное оформление страницы 404:

• Skillbox;

• Texterra;

• наш Protraffic.

А вот на devaka.ru сделан общий редирект для всех случаев неправильного ввода url-адресов. Вводите хоть с «&» на конце, хоть с несколькими слешами — вас все равно перенаправляет на главную сайта! Отличное решение, которое частично решает вопрос с битыми ссылками.

Поиск битых ссылок на сайте

Обнаружить битые линки можно несколькими способами. Проще всего найти их через Яндекс.Вебмастер или Google Search Console, но есть и масса других инструментов. Рассмотрим все подробно.

Яндекс.Вебмастер

Заходите в свою панель Вебмастера, переходите в настройки конкретного сайта, выбираете раздел «Ссылки/Внутренние». Если есть broken links, то они отобразятся здесь.

А на этом нашел, и еще сколько.

Существует также другой способ, более подробный:

• переходите в раздел «Статистика обхода»;

• жмете на значок воронки;
• выбираете ошибку 404;

• щелкаете «Применить»;
• получаете статистику по всем 404.

Google Search Console

Практически тоже нужно сделать в панели вебмастера Гугла:

• заходите в раздел «Покрытие»;
• жмете на «Исключено»;

• фильтруете по «Статусу»;

• кликаете на исключенные страницы с типом «Не найдено»;

• анализируете страницы.

Ahrefs

Найдет не только битые ссылки, но и свяжет их с анкорами. 

Что делаете:

• переходите на Broken Link Checker;
• вводите название своего домена;
• жмете «Проверить»;
• получаете статистику по внутренним и внешним битым линкам.

Бесплатно в Ahrefs можно смотреть только первые 10 страниц. Для полного доступа нужно купить тариф.

Broken Link Checker

Плагин для сайтов на WP. После загрузки и активации начнет отслеживать внутренние и внешние ссылки для SEO, включая комментарии и изображения. Учитывает также перенаправления 301.

Xenu

Специальная программа — скачиваете ее на компьютер, активируете, открываете, вводите название сайта и жмете «Искать».

Подробнее:

• открываете Xenu;
• жмете на File слева вверху;

• задействуете на клавиатуре Ctrl+N;
• вводите адрес домена;

• нажимаете «OK»;
• ждете несколько минут и получаете отчет по всему профилю.

Чтобы удобнее было найти страницы, отдающие 404 — нужно отфильтровать по Status.

Badlinks

Специальный сервис для поиска broken link. Бесплатно можно проверить до 10 страниц, но отчет тоже будет с ограничениями. Например, не увидите все урлы. Лучше сразу оплатить тариф на Badlinks, чтобы использовать сервис на полную мощь. Цена на 100 страниц — всего 50 рублей.

Netpeak Spider

Десктопная программа, которая найдет сломанные урлы в пару кликов. Может соотносить битые линки с целевой страницей и анкором. Чтобы найти broken link, нужно указать домен сайта, и дождаться проверки. В итоге получаете отчет с ошибками, данными по структуре и общий анализ по домену.

Check MyLinks

Расширение для Гугл Хрома. Устанавливаете, и программа автоматически начинает искать битые ссылки на любом сайте. Подробнее о том, как и что делать:

• заходите на страницу;
• жмете значок расширения вверху справа;

• кликаете на Check MyLinks;

• получаете данные по всем линкам на странице — рабочие ссылки выделены зеленым, сломанные красным цветом.

Screaming Frog SEO Spider

Программа, которую надо скачать на свой компьютер. После открытия «паука», вписываете адрес сайта и жмете Start.

После сканирования получаете подробный отчет.

А вообще, Screaming Frog — это мощный софт, который находит не только битые ссылки, а еще дубли и страницы с незаполненными мета-тегами. Одним словом, может делать регулярный технический аудит, что поможет сайту получить зеленую зону в PageSpeed.

Dead Link Checker 

Онлайн-сервис для поиска битых 4xx. Удобный и быстрый. Вводите урл, выбираете что проверить — весь сайт или конкретную страницу. Жмете «Проверить». Получаете подробный отчет.

Почему проверка битых ссылок важна

Проверку «мертвых» ссылок на своем сайте важно проводить регулярно. Так вы своевременно обнаружите ошибки и исправите их. Кроме того, большое количество битых страниц — прямой путь к фильтру со стороны поисковых систем.

Таким образом, broken link вредят SEO — теряется ценный трафик, ухудшаются поведенческие факторы, увеличивается число отказов. Также нарушается внутренняя перелинковка страниц сайта, что еще больше портит юзабилити.

Что делать с битыми ссылками на сайте

Есть несколько решений:

• удалить url, которые ведут на страницы 404;
• заполнить эти страницы контентом;
• поставить редирект 301.

Проще всего, сделать редирект 301. Если сайт на WP, то достаточно загрузить и активировать плагин Redirection. Потом через этот модуль поменять битую ссылку на рабочую — вводим в поле «Исходный url» нерабочий линк, а в поле «Целевой url» рабочий. 

Например, вы нашли такой broken link — site.ru/rubrika/mercedes/201. Раньше по этому адресу открывалась статья про автомобиль Мерседес-Бенц W201. Но позже вы удалили материал, так как имелся похожий текст с описанием всех модификаций немецкого седана класса C. Логическое решение — перенаправить трафик на site.ru/rubrika/mercedes/class-C. Так и делаем.

Теперь пользователи, которые будут переходить по site.ru/rubrika/mercedes/201, попадут на рабочую страницу site.ru/rubrika/mercedes/class-C. И это независимо от того, откуда они заходят — из соцсетей, гостевых постов, с комментариев на чужих сайтах и т. д. Вы не просто удалили битую ссылку, а заставили ее работать. 

Подробнее о том, как настроить 301 редирект.

Битые ссылки на чужих сайтах и линкбилдинг

Битый линкбилдинг — это успешный метод получения внешек с авторитетных ресурсов. Что нужно сделать: 

• составить список крупных ресурсов, тематика которых откликается с вашим блогом — подробно описывать, как проверить траст сайта, не будем;
• поискать и найти на этих ресурсах поломанные ссылки;
• написать владельцам этих сайтов, что вы готовы бесплатно найти и удалить битые линки на их ресурсах, а взамен сделать с них редирект на свои страницы.

В итоге вы получаете «жирные» бэки, а владельцы авторитетных ресурсов — бесплатный аудит broken link. Многие эксперты в сфере поискового маркетинга считают такой метод наращивания ссылочной массы — белым и вполне безопасным.

Однако линкбилдинг на чужих сайтах занимает много времени. Да и договориться не всегда получается — обычно на крупных площадках работают штатные SEO-шники, которые сами занимаются поиском и удалением ошибок. 

Есть много примеров, когда вебмастеры удачно использовали аутрич ссылки для SEO. Например, SweetGrace.net изготавливает кондитерские изделия на заказ. Чтобы заполучить ссылки и трафик с площадок свадебных салонов и кулинарных блогов, маркетологи решили сначала найти подходящие ресурсы по запросам в поиске. Искали по фразам: «украшение тортов», «домашняя выпечка», «подготовка к свадьбе» и т. д. Быстро нашли подходящий сайт с поломанным линком, предложили владельцу заменить его и договорились.

Заключение

Регулярно мониторьте сайт на битые ссылки и улучшайте SEO. Желательно использовать отдельную таблицу Excel, куда записывать все поломанные линки и что с ними сделали. Таким образом, процесс будет лучше контролироваться.

автокредит банки список