Прямые заходы в Метрике резко выросли: что происходит с сайтом и что делать?

В последние 2 года многие владельцы сайтов столкнулись с массовой атакой ботов. Веб-мастеры замечали, что резко выросли прямые заходы в Яндекс.Метрике и не знали, с чем это связано: накрутка ПФ, нагул профилей или происки конкурентов. 

В статье расскажем о возможных причинах появления ботов на сайте, надо ли с ними бороться и как они влияют на позиции в поисковых системах. 

Что означают прямые заходы в Яндекс Метрике

Прямые заходы — визиты посетителей, у которых нет источника. Они попадают в специальный отчет Яндекс.Метрики и чаще всего владельцы сайтов не обращают на них внимание, пока посещений не становится слишком много.

Каждый раз, когда вы вводите адрес сайта в строке браузера или копируете полный URL страницы из закладок в мессенджере, в отчёте аналитической системы он отображается как прямой заход.
Веб-мастеры, которые занимаются созданием сайтов с нуля, привыкли, что рост трафика связан с определённым источником. К примеру, они запустили рекламу в Facebook и в интерфейсе Метрики видят, что оттуда стабильно идут переходы. А когда прямые заходы растут без видимых причин, вебы напрягаются.

Соль ситуации в том, что любые изменения могут негативно повлиять на позиции и трафик, поэтому лишний раз стоит перестраховаться. В случае с прямыми заходами, установить причину может быть сложно.

Если это не безвредный нагул профилей, который делают арбитражники, то нужно принять меры и заблокировать ботам доступ по IP, чтобы не переживать о снижении посещаемости. 

Метрика не всегда работает идеально. Могут случаться технические сбои и в некоторых случаях доля прямых заходов на время увеличивается. Ну и банально, активность может повыситься из-за того, что пользователи не нажимают по ссылке на внешнем ресурсе, а копируют адрес в строку браузера.

Почему стало много прямых заходов

Чтобы разобраться в причинах резкого роста прямых заходов, необходимо провести анализ. Часто владельцы сайтов обращают внимание на проблему, когда у них резко падает трафик и позиции.

Лучше держать ситуацию под контролем и регулярно просматривать отчеты в Яндекс.Метрике. Данные по источникам трафика отображаются в разделе «Стандартные отчеты» → «Источники».

Если на графике видно, что хостов стало намного больше и приток дают не поисковые системы или социальные сети, а прямые заходы, стоит потратить время на анализ. Бывает сложно разобраться в причинах, но это важно сделать. 

Рост узнаваемости

Причина роста переходов на интернет-ресурс иногда не связана с накруткой поведенческих факторов или коварными планами владельцев ботоферм. Бывают ситуации, когда реферальный трафик вырастает благодаря повышению узнаваемости бренда.

К примеру, когда веб-мастер создал сайт, где можно было мониторить наличие консолей PS5 в магазине, о нём написали многие топовые digital СМИ. Не все площадки ставили ссылку на проект и многие пользователи вводили адрес в строку браузера руками. 

Такие переходы попадают в прямые заходы, потому что в Яндекс.Метрика не видит реферер. Но если поведенческие факторы в пределах нормы, переживать не о чем. В этом можно убедиться с помощью просмотра сводного отчёта и записей визитов «Вебвизора».

В кейсе с проектом о консолях рост прямых заходов в совокупности с хорошей длительностью визита и глубиной просмотров могут позитивно повлиять на позиции. Если доля постоянной аудитории увеличится, алгоритмы Яндекса и Google это заметят. 

Нагул профилей для накрутки ПФ

Прямые заходы на сайте могут расти из-за того, что арбитражники выпустили на волю ботов, которые нагуливают профиль для разных задач. Это может быть как накрутка ПФ, так и стандартные процессы вроде тестирования алгоритмов софта. 

На рынке есть несколько программ, которые накручивают поведенческие факторы для повышения трафика из Яндекса. Их результативность под большим вопросом, но для обучения алгоритмов как раз и нужны массовые посещения разных сайтов.

Если визиты ботов сильно не роняют ПФ: отказы не растут, глубина просмотров на том же уровне, можно не переживать. Или для верности заблокировать их по IP, рефереру и другим идентификаторам. 

Массовая активность ботов

За последние годы веб-мастеры уже миллион раз поднимали тему резкого роста прямых заходов. На Searchengines о проблеме сообщали ещё в 2015 году. Картина стандартная — трафик увеличился в 2 раза и визиты ухудшают ПФ.

Служба поддержки веб-мастеров Яндекса как обычно говорит, что держит ситуацию под контролем. И если владелец сайта не использует запрещённые методы продвижения, с трафиком и позициями все будет в порядке. 

Масштаб проблемы впечатляет, потому что она затронула не сотни, а тысячи сайтов в Рунете. Поведенческие факторы были плохими далеко не у всех, но прямые заходы и визиты из социальных сетей росли как на дрожжах без видимых причин.

Причем по каждому сайту ситуация отличается: график посещений, разные браузеры, клиенты. Все проекты, которые попали под раздачу бесплатного трафика, объединяет только присутствие в списке ботоферм. 

Даже спустя 2 года после начала массового наводнения ботами, нет информации о том, кто это делал и зачем. Сейчас вебы уже не кричат каждый день на форумах, что их сайт атакуют боты и растут прямые заходы. Но вопрос остаётся открытым. 

Атака конкурентов

При продвижении сайта в дорогой нише можно столкнуться с атаками конкурентов. Если бренд проекта стабильно развивается и поисковый трафик увеличивается, соперники по рынку захотят помешать ему. 

Не все действуют чёрными методами, но иногда веб-мастеры не хотят бороться за высокие позиции с помощью контента и ссылок. Они заказывают накрутку в сервисах или у фрилансеров и радостно потирают ладошки в ожидании профита.

Иногда им удаётся выполнить поставленную задачу. Поведенческие факторы сильно влияют на продвижение в Яндексе. Поэтому если конкуренты начинают активно крутить ПФ, лучше не сидеть без дела. Надо отбить атаку и задействовать дополнительные методы продвижения, например, узнать как делать PBN. 

Примерно в 2018 году поведенческие факторы стали одним из главных факторов ранжирования в Яндексе, но проблема в том, что фильтровать посещения ботов Метрика тогда не могла. Поэтому многие сайты получали бан на полгода-год и висели мертвым грузом. 

Дальше в статье мы расскажем о способах защиты и подробно остановимся на методах, которые работают. Не всегда получается обойтись подключением фильтров в Cloudflare, иногда боты обходят алгоритмы антиспама.

Что делать, если резко выросло количество прямых заходов

Чтобы однозначно ответить на этот вопрос, нужно разбирать детали кейса. Если прямые заходы выросли из-за повышения интереса к проекту  — ничего делать не надо Можно расслабиться и наблюдать за улучшением позиций. 

Если же посещения с плохими поведенческими факторами и потихоньку страницы начинают выпадать из ТОПа, необходимо принять меры. Пока результаты от поисковой оптимизации ещё полностью не пропали. 

Первый шаг на пути к решению проблемы — анализ визитов в Яндекс.Метрики. Необходимо зайти во вкладку с источниками и отфильтровать все визиты, которые попали в прямые заходы. 

Далее смотрим, какие у них поведенческие факторы. Сеанс меньше минуты не всегда говорит о накрутке ПФ. Если это продиктовано особенностями контента проекта и по другим источникам переходов цифры аналогичные, переживать не о чем.

А вот если показатели ПФ по прямых заходам в 2-3 раза меньше обычных, стоит провести более глубокий анализ. Для этого открываем записи «Вебвизора» и смотрим 15-20 роликов.

Ботов можно отличить по:

• хаотичным движениям мышью;
• длительному бездействию на странице;
• переходам по внутренним ссылкам, которых нет в контенте;
• повышенной активности в ночное время.

Выявить закономерности между визитами иногда бывает сложно, потому что владельцы ботоферм непрерывно обучают своих маленьких помощников. Но чаще  всего они палятся на раз. Например, бот открывает фото в лайтбоксе и дальше скроллит страницу вниз. 

Если сайт однозначно страдает от атаки ботов, которые накручивают ПФ или просто создают нагрузку, надо решать проблему. Скорее всего, блокировки по IP будет недостаточно, даже если использовать маску подсетей.

Установка систем фильтрации трафика

Когда речь заходит о проблемах с важным проектом, который длительное время продвигался по SEO и владелец тратил деньги на создание контента, важно действовать оперативно. Только так можно сохранить позиции и трафик.

На помощь приходят системы фильтрации трафика. Они анализируют данные каждого посетителя в real-time и если алгоритмы посчитают визит подозрительным, доступ к сайту будет закрыт.

Очень часто на популярных ресурсах можно увидеть заглушку с текстом «Ожидайте, сайт сейчас загрузится». В этот момент как раз и происходит сканирование данных. Пользователей такие прокладки не сильно раздражают, а вот боты не могут получить доступ к контенту. 

На рынке много систем фильтрации трафика, но стоит обратить внимание на:

1. Cloudflare. Онлайн-сервис даже на бесплатном тарифе справляется с фильтрацией ботов и даёт базовую защиту от DDoS-атак. 
2. BotFAQtor. Система защищает от скликивания рекламы и ботов. Платные тарифы стоят 7 500 и 40 000 ₽ на год.
3. AntiBot Cloud. Облачный сервис для защиты сайтов на PHP от ботов. Стоит 3 000 ₽ за сайт в год или 9 000 ₽ за неограниченное количество проектов. 

Ещё дополнительно можно поставить систему аналитики Finteza, она анализирует качество трафика и предоставляет полезную статистику в удобном интерфейсе. После небольшой настройки детектор ботов определяет долю «грязного» трафика и его источник.

Стоимость подписки — 25$ в месяц за 100 000 посетителей. Первые 30 дней можно тестировать систему бесплатно. Если сейчас на сайте нет проблем с ботами, всё равно можно установить скрипт и оценить качество трафа. 

Что касается эффективной защиты от ботов, то для начала можно поставить бесплатный Cloudflare и посмотреть за ситуацией. Firewall неплохо справляется с задачей, но 100% эффективность не гарантируется.

Если Cloudflare не помог решить проблему, рекомендуем обратить внимание на Antibot.Cloud. Судя по отзывам веб-мастеров, сервис хорошо справляется с фильтрацией спамного трафика.

Но учитывайте, что пользователи будут видеть заглушку на 1-3 секунды. На поведенческих это не сказывается, но если в браузере отключен JS, редирект на контент может не сработать и получить доступ к странице не получится.

Главные особенности скрипта:

• антибот совместим с рекламой Adsense, РСЯ, etc;
• можно использовать вместе с Cloudflare;
• высокая эффективность борьбы с ботами, накручивающими ПФ;
• защита от парсинга контента дорвеями.

Если на сайте есть трафик из Google и Яндекса, расходы на оплату подписки окупятся. Тем более что можно взять тариф с неограниченным количеством сайтов и разделить сумму с друзьями, у которых есть сайты, и спокойно дальше зарабатывать на партнерских программах.

Мы решили узнать, чем Antibot лучше конкурентов. Вот ответ разработчика:

Могут ли прямые заходы привести к падению позиций

Многие владельцы сайтов боятся не активности ботов, а последствий, которые могут возникнуть после этого. Поисковые системы активно развивают алгоритмы ранжирования с фокусом на поведенческих факторах — динамика трафика зависит от поведения посетителей.

Есть много кейсов, когда сайты банили за накрутку ПФ. В Google с этим пока ситуация стабильная, а вот Яндекс выдаёт ограничения без разбирательств. Если появляется аномальная активность и она держится месяц-два, позиции могут улететь далеко за ТОП-10.

Некоторые веб-мастеры даже удаляют с сайта Яндекс.Метрику, чтобы защититься от утечки данных, но в этом нет смысла. У поисковых систем огромное количество партнёрских площадок, через которые они могут получать данные о поведении юзеров.

Самое прикольное, что Метрика по умолчанию интегрирована в популярные сервисы Рунета. Установили себе скрипт онлайн-консультанта, а вместе с ней тихонько интегрировалась и система аналитики Яндекса. 

Однозначно ответить на вопрос о том, могут ли прямые заходы повлиять на позиции можно только по результатам конкретного кейса. Алгоритмы поисковых систем ведут себя непредсказуемо, их техническая составляющая ещё не идеальная. Из-за таких ситуаций заработок в интернете нельзя считать пассивным доходом, он может пропасть в любой момент.

Как узнать реальное количество прямых заходов

Узнать реальное количество прямых заходов можно несколькими способами. Всё зависит от задач и ситуации, которая сложилась на проекте. Если есть подозрения, что сайт валят поведенческими факторами с помощью софта вроде WebVisitor или шаблона Zennoposter, сначала надо очистить проект от спамного трафика.

Для этого можно воспользоваться системами фильтрации, о которых мы рассказывали выше. Они хорошо справляются с разными проявлениями ботовой активности и могут защитить сайт от скликивания рекламы, что очень важно для MFA  проектов. 

Второй способ узнать количество прямых заходов — отчёт «Роботы» в Яндекс.Метрике. С помощью него можно узнать процент роботности — число ботов, которые заходят на сайт, сопоставить с данными о прямых заходах и сделать выводы.

Нужно ли блокировать подозрительные IP-адреса

Веб-мастеров, которые сталкиваются с атаками ботов, сильно волнует риск попадания под санкции. Поэтому они часто начинают без разбора банить все подозрительные устройства по IP-адресам.

Даже при использовании умных систем фильтрации трафика нужно внимательно настраивать параметры в соответствии со справкой. Из-за ошибки в конфиге на сайт могут не попадать Android пользователи или посетители, которые подключаются по протоколу HTTP. 

Если объём подозрительного трафика минимальный и все боты палятся по IP в рамках одной подсети, можно забанить их в настройках Метрики и следить за ситуацией. Когда масштаб проблемы увеличится, стоит использовать более эффективные методы.

Может ли Яндекс достоверно определять роботность трафика

На фоне всплеска прямых заходов в Метрике и массовых жалоб веб-мастеров Яндекс выкатил обновление отчёта по роботам в сентябре прошлого года. Теперь система аналитики распознает два типа ботов: роботов популярных сервисов со своими юзерагентами и неопознанных.

Владельцев сайтов больше интересуют роботы, которые маскируются под пользователей — их сложно выделить из общей массы посетителей. Цель обновления — сделать статистику максимально точной. 

После апдейта Метрика убирает из отчётов всех роботов, которые представились и по умолчанию отображает данные без учёта ботов. Проблема в том, что система по-прежнему работает неидеально. Владельцы сайтов пишут в комментариях, что Метрика считает реальных пользователей ботами.

С 2021 года Яндекс.Метрика лучше распознает роботов, но далеко не во всех случаях. Поэтому нет смысла надеяться, что система аналитики автоматически решит проблему с накруткой ПФ и можно спокойно заниматься другими задачами.

Выводы

По итогам статьи можно сделать логичный вывод — проблема с наплывом ботов уже много лет массовая, она затрагивает информационные и коммерческие ниши. Поэтому если есть подозрения, что на сайте скручивают ПФ, лучше решить проблему как можно быстрее. 

Если ботов мало и нет подтверждений того, что они накручивают поведенческие факторы, можно просто держать ситуацию под контролем. Когда появится необходимость борьбы с роботами, можно задействовать все доступные инструменты.