Прямые заходы в Метрике резко выросли: что происходит с сайтом и что делать?

В последние 2 года многие владельцы сайтов столкнулись с массовой атакой ботов. Веб-мастеры замечали, что резко выросли прямые заходы в Яндекс.Метрике и не знали, с чем это связано: накрутка ПФ, нагул профилей или происки конкурентов. 

Зимний турнир для партнеров 888STARZ, — SANTA’S CASH PARADE

Подробнее

Реклама

В статье расскажем о возможных причинах появления ботов на сайте, надо ли с ними бороться и как они влияют на позиции в поисковых системах. 

Что означают прямые заходы в Яндекс Метрике

Прямые заходы — визиты посетителей, у которых нет источника. Они попадают в специальный отчет Яндекс.Метрики и чаще всего владельцы сайтов не обращают на них внимание, пока посещений не становится слишком много.

Каждый раз, когда вы вводите адрес сайта в строке браузера или копируете полный URL страницы из закладок в мессенджере, в отчёте аналитической системы он отображается как прямой заход.
Веб-мастеры, которые занимаются созданием сайтов с нуля, привыкли, что рост трафика связан с определённым источником. К примеру, они запустили рекламу в Facebook и в интерфейсе Метрики видят, что оттуда стабильно идут переходы. А когда прямые заходы растут без видимых причин, вебы напрягаются.

Соль ситуации в том, что любые изменения могут негативно повлиять на позиции и трафик, поэтому лишний раз стоит перестраховаться. В случае с прямыми заходами, установить причину может быть сложно.

Если это не безвредный нагул профилей, который делают арбитражники, то нужно принять меры и заблокировать ботам доступ по IP, чтобы не переживать о снижении посещаемости. 

Метрика не всегда работает идеально. Могут случаться технические сбои и в некоторых случаях доля прямых заходов на время увеличивается. Ну и банально, активность может повыситься из-за того, что пользователи не нажимают по ссылке на внешнем ресурсе, а копируют адрес в строку браузера.

Почему стало много прямых заходов

Чтобы разобраться в причинах резкого роста прямых заходов, необходимо провести анализ. Часто владельцы сайтов обращают внимание на проблему, когда у них резко падает трафик и позиции.

Лучше держать ситуацию под контролем и регулярно просматривать отчеты в Яндекс.Метрике. Данные по источникам трафика отображаются в разделе «Стандартные отчеты» → «Источники».

Если на графике видно, что хостов стало намного больше и приток дают не поисковые системы или социальные сети, а прямые заходы, стоит потратить время на анализ. Бывает сложно разобраться в причинах, но это важно сделать. 

Рост узнаваемости

Причина роста переходов на интернет-ресурс иногда не связана с накруткой поведенческих факторов или коварными планами владельцев ботоферм. Бывают ситуации, когда реферальный трафик вырастает благодаря повышению узнаваемости бренда.

К примеру, когда веб-мастер создал сайт, где можно было мониторить наличие консолей PS5 в магазине, о нём написали многие топовые digital СМИ. Не все площадки ставили ссылку на проект и многие пользователи вводили адрес в строку браузера руками. 

Такие переходы попадают в прямые заходы, потому что в Яндекс.Метрика не видит реферер. Но если поведенческие факторы в пределах нормы, переживать не о чем. В этом можно убедиться с помощью просмотра сводного отчёта и записей визитов «Вебвизора».

В кейсе с проектом о консолях рост прямых заходов в совокупности с хорошей длительностью визита и глубиной просмотров могут позитивно повлиять на позиции. Если доля постоянной аудитории увеличится, алгоритмы Яндекса и Google это заметят. 

Нагул профилей для накрутки ПФ

Прямые заходы на сайте могут расти из-за того, что арбитражники выпустили на волю ботов, которые нагуливают профиль для разных задач. Это может быть как накрутка ПФ, так и стандартные процессы вроде тестирования алгоритмов софта. 

На рынке есть несколько программ, которые накручивают поведенческие факторы для повышения трафика из Яндекса. Их результативность под большим вопросом, но для обучения алгоритмов как раз и нужны массовые посещения разных сайтов.

Если визиты ботов сильно не роняют ПФ: отказы не растут, глубина просмотров на том же уровне, можно не переживать. Или для верности заблокировать их по IP, рефереру и другим идентификаторам. 

Массовая активность ботов

За последние годы веб-мастеры уже миллион раз поднимали тему резкого роста прямых заходов. На Searchengines о проблеме сообщали ещё в 2015 году. Картина стандартная — трафик увеличился в 2 раза и визиты ухудшают ПФ.

Служба поддержки веб-мастеров Яндекса как обычно говорит, что держит ситуацию под контролем. И если владелец сайта не использует запрещённые методы продвижения, с трафиком и позициями все будет в порядке. 

Масштаб проблемы впечатляет, потому что она затронула не сотни, а тысячи сайтов в Рунете. Поведенческие факторы были плохими далеко не у всех, но прямые заходы и визиты из социальных сетей росли как на дрожжах без видимых причин.

Причем по каждому сайту ситуация отличается: график посещений, разные браузеры, клиенты. Все проекты, которые попали под раздачу бесплатного трафика, объединяет только присутствие в списке ботоферм. 

Даже спустя 2 года после начала массового наводнения ботами, нет информации о том, кто это делал и зачем. Сейчас вебы уже не кричат каждый день на форумах, что их сайт атакуют боты и растут прямые заходы. Но вопрос остаётся открытым. 

Атака конкурентов

При продвижении сайта в дорогой нише можно столкнуться с атаками конкурентов. Если бренд проекта стабильно развивается и поисковый трафик увеличивается, соперники по рынку захотят помешать ему. 

Не все действуют чёрными методами, но иногда веб-мастеры не хотят бороться за высокие позиции с помощью контента и ссылок. Они заказывают накрутку в сервисах или у фрилансеров и радостно потирают ладошки в ожидании профита.

Иногда им удаётся выполнить поставленную задачу. Поведенческие факторы сильно влияют на продвижение в Яндексе. Поэтому если конкуренты начинают активно крутить ПФ, лучше не сидеть без дела. Надо отбить атаку и задействовать дополнительные методы продвижения, например, узнать как делать PBN. 

Примерно в 2018 году поведенческие факторы стали одним из главных факторов ранжирования в Яндексе, но проблема в том, что фильтровать посещения ботов Метрика тогда не могла. Поэтому многие сайты получали бан на полгода-год и висели мертвым грузом. 

Дальше в статье мы расскажем о способах защиты и подробно остановимся на методах, которые работают. Не всегда получается обойтись подключением фильтров в Cloudflare, иногда боты обходят алгоритмы антиспама.

Андрей Новоселов

Head of Content в Travelpayouts

В блоге Travelpayouts у большинства аномальных прямых заходов, была аналогичная маска: мобильное Android устройство и московский IP адрес.
Это факт от которого дальше можно строить только теории. Если коротко, то на мой взгляд, это «бот-ферма», может быть эмуляция, может быть настоящие зараженные устройства или что угодно, тут у меня нет достаточной технической подкованности, чтобы сделать вывод, почему такие источники.
Что касается в чем смысл массовой накрутки ботов на проектах в Рунете, то здесь нет однозначного ответа. Но я во-первых и встречал у коллег по цеху эту мысль, и сам в это тоже верю, что это «нагуливают» ботов.
Цель простая — оставляют следы, имитируют живого человека, чтобы потом снизить шанс бана в рекламных сетях за скликивание. То есть конечная цель — не твой сайт, а кликать на рекламу (в Адсенсе, РСЯ и других) уже на своих сайтах и получать деньги за ненастоящие клики.
А чтобы сетки не спалили что это бот, у него есть «история» в интернете, по которой сетки также вычисляют ботов, но тут к ним приходят как будто настоящие люди, которые до этого с десяток сайтов посетили и не кликали на рекламу. Это теория, официальной причины не знаю.

Что делать, если резко выросло количество прямых заходов

Чтобы однозначно ответить на этот вопрос, нужно разбирать детали кейса. Если прямые заходы выросли из-за повышения интереса к проекту  — ничего делать не надо Можно расслабиться и наблюдать за улучшением позиций. 

Если же посещения с плохими поведенческими факторами и потихоньку страницы начинают выпадать из ТОПа, необходимо принять меры. Пока результаты от поисковой оптимизации ещё полностью не пропали. 

Первый шаг на пути к решению проблемы — анализ визитов в Яндекс.Метрики. Необходимо зайти во вкладку с источниками и отфильтровать все визиты, которые попали в прямые заходы. 

Далее смотрим, какие у них поведенческие факторы. Сеанс меньше минуты не всегда говорит о накрутке ПФ. Если это продиктовано особенностями контента проекта и по другим источникам переходов цифры аналогичные, переживать не о чем.

А вот если показатели ПФ по прямых заходам в 2-3 раза меньше обычных, стоит провести более глубокий анализ. Для этого открываем записи «Вебвизора» и смотрим 15-20 роликов.

Ботов можно отличить по:

• хаотичным движениям мышью;
• длительному бездействию на странице;
• переходам по внутренним ссылкам, которых нет в контенте;
• повышенной активности в ночное время.

Выявить закономерности между визитами иногда бывает сложно, потому что владельцы ботоферм непрерывно обучают своих маленьких помощников. Но чаще  всего они палятся на раз. Например, бот открывает фото в лайтбоксе и дальше скроллит страницу вниз. 

Если сайт однозначно страдает от атаки ботов, которые накручивают ПФ или просто создают нагрузку, надо решать проблему. Скорее всего, блокировки по IP будет недостаточно, даже если использовать маску подсетей.

Установка систем фильтрации трафика

Когда речь заходит о проблемах с важным проектом, который длительное время продвигался по SEO и владелец тратил деньги на создание контента, важно действовать оперативно. Только так можно сохранить позиции и трафик.

На помощь приходят системы фильтрации трафика. Они анализируют данные каждого посетителя в real-time и если алгоритмы посчитают визит подозрительным, доступ к сайту будет закрыт.

Очень часто на популярных ресурсах можно увидеть заглушку с текстом «Ожидайте, сайт сейчас загрузится». В этот момент как раз и происходит сканирование данных. Пользователей такие прокладки не сильно раздражают, а вот боты не могут получить доступ к контенту. 

На рынке много систем фильтрации трафика, но стоит обратить внимание на:

1. Cloudflare. Онлайн-сервис даже на бесплатном тарифе справляется с фильтрацией ботов и даёт базовую защиту от DDoS-атак. 
2. BotFAQtor. Система защищает от скликивания рекламы и ботов. Платные тарифы стоят 7 500 и 40 000 ₽ на год.
3. AntiBot Cloud. Облачный сервис для защиты сайтов на PHP от ботов. Стоит 3 000 ₽ за сайт в год или 9 000 ₽ за неограниченное количество проектов. 

Ещё дополнительно можно поставить систему аналитики Finteza, она анализирует качество трафика и предоставляет полезную статистику в удобном интерфейсе. После небольшой настройки детектор ботов определяет долю «грязного» трафика и его источник.

Стоимость подписки — 25$ в месяц за 100 000 посетителей. Первые 30 дней можно тестировать систему бесплатно. Если сейчас на сайте нет проблем с ботами, всё равно можно установить скрипт и оценить качество трафа. 

Что касается эффективной защиты от ботов, то для начала можно поставить бесплатный Cloudflare и посмотреть за ситуацией. Firewall неплохо справляется с задачей, но 100% эффективность не гарантируется.

Если Cloudflare не помог решить проблему, рекомендуем обратить внимание на Antibot.Cloud. Судя по отзывам веб-мастеров, сервис хорошо справляется с фильтрацией спамного трафика.

Но учитывайте, что пользователи будут видеть заглушку на 1-3 секунды. На поведенческих это не сказывается, но если в браузере отключен JS, редирект на контент может не сработать и получить доступ к странице не получится.

Главные особенности скрипта:

• антибот совместим с рекламой Adsense, РСЯ, etc;
• можно использовать вместе с Cloudflare;
• высокая эффективность борьбы с ботами, накручивающими ПФ;
• защита от парсинга контента дорвеями.

Если на сайте есть трафик из Google и Яндекса, расходы на оплату подписки окупятся. Тем более что можно взять тариф с неограниченным количеством сайтов и разделить сумму с друзьями, у которых есть сайты, и спокойно дальше зарабатывать на партнерских программах.

Мы решили узнать, чем Antibot лучше конкурентов. Вот ответ разработчика:

Mik Foxi

Owner Antibot.cloud

Антибот заточен для более тонкого определения ботов, которые не хотят казаться ботами и маскируются под человека. Cloudflare не спасает от поведенческих ботов, которые заполонили сайты рунета (если не брать во внимание радикальные метры типа полной блокировки прямых заходом или отдачи всем им капчи), он их вообще не считает ботами и скорее всего даже не в курсе существования такой проблемы в рунете.
А для сравнения Antibot Cloud и BotFAQtor — лучше всего протестировать оба сервиса, у антибота есть 10 дней бесплатного тестового периода, за который можно оценить качество работы.
В рунете большинство клиентов которым антибот нужен для защиты поведенческих факторов приходят уже после того, как их сайт атаковали. Те кто работают на опережение — у тех почти никогда не возникает проблем с поведенческими.
Антибот никак не влияет на скорость загрузки сайта. Для белых ботов (GoogleBot, YandexBot и т.п.) антибот никак не показывается. Нагрузка на сервер от антибота минимальна, он потребляет в десятки и сотни раз меньше ресурсов, чем большинство CMS.
Этим он снижает общую нагрузку на сервер, не пуская ненужных ботов. Для того чтобы PageSpeed показывал правду — нужно его добавить в белый список в конфиге антибота.

Андрей Новоселов

Head of Content в Travelpayouts

Прямые заходы, сами по себе, – это не проблема. Много людей реально заходят напрямую. Прямые заходы это даже хорошо, если они настоящие. Аудитория к вам возвращается, а значит вы делаете ценный контент.
К нам на блог Travelpayouts напрямую возвращаются до 10% аудитории. Для какого-то сайта даже такой показатель мог бы уже сигнализировать о ненастоящих заходах. На мой взгляд, лучше смотреть в динамике, если у вас всегда было 3-5% прямых заходов и затем резко кратко выросло, при этом ничего попутно не изменилось, тут может быть проблема.
У меня нет четкого критерия – когда количество становится опасным, это нужно решать от своих целей. Риск просадки позиций есть лишь в теории.
В нашем случае прямые заходы мешались расчету бизнес-показателей блога и его здоровья. Если прямых заходов много, то они могут искажать параметры, например, конверсии (сколько людей регистрируются из статей) и другие.
В результате имеешь не настоящие цифры и можешь принимать неправильные решения для развития. Всё это частично можно пофильтровать по источникам, но это дополнительная работа, и всё равно могут остаться проблемы с данными, а с ним и искажение статистики.

Mik Foxi

Owner Antibot.cloud

Опасность не в прямых заходах или каком-то особом реферере, а в поведении на сайте которое потом происходит. Если дальнейших действий посетитель не делает, т.е. закрывает страницу, то в глазах Яндекса (при наличии Метрики и других способов слежения) это признак того, что страница людям не нравится.

Могут ли прямые заходы привести к падению позиций

Многие владельцы сайтов боятся не активности ботов, а последствий, которые могут возникнуть после этого. Поисковые системы активно развивают алгоритмы ранжирования с фокусом на поведенческих факторах — динамика трафика зависит от поведения посетителей.

Есть много кейсов, когда сайты банили за накрутку ПФ. В Google с этим пока ситуация стабильная, а вот Яндекс выдаёт ограничения без разбирательств. Если появляется аномальная активность и она держится месяц-два, позиции могут улететь далеко за ТОП-10.

Некоторые веб-мастеры даже удаляют с сайта Яндекс.Метрику, чтобы защититься от утечки данных, но в этом нет смысла. У поисковых систем огромное количество партнёрских площадок, через которые они могут получать данные о поведении юзеров.

Самое прикольное, что Метрика по умолчанию интегрирована в популярные сервисы Рунета. Установили себе скрипт онлайн-консультанта, а вместе с ней тихонько интегрировалась и система аналитики Яндекса. 

Однозначно ответить на вопрос о том, могут ли прямые заходы повлиять на позиции можно только по результатам конкретного кейса. Алгоритмы поисковых систем ведут себя непредсказуемо, их техническая составляющая ещё не идеальная. Из-за таких ситуаций заработок в интернете нельзя считать пассивным доходом, он может пропасть в любой момент.

Андрей Новоселов

Head of Content в Travelpayouts

Слышал такую теорию неоднократно, но на практике живых подтверждений в моей практике нет. Позиции некоторых страниц при аномальным количестве прямых заходов как просаживались, так и росли.
Здесь хочется вспомнить фразу – post hoc ergo propter hoc, что «после» не значит «вследствие». В моменте на позиции страниц влияет много факторов. Более того, прямые заходы, с которыми мы столкнулись, имели неплохие поведенческие факторы — проводили на странице время, даже кликали по ссылкам.

Mik Foxi

Owner Antibot.cloud

По моему мнению — да, позиции падают, но нужно учитывать важный нюанс при анализе происходящего, смотреть отказы, посещаемость и прочие параметры не всего сайта в целом, а конкретной отдельной взятой страницы.
Если на конкретной странице преобладают плохие поведенческие, то падать будет в первую очередь эта страница.

Как узнать реальное количество прямых заходов

Узнать реальное количество прямых заходов можно несколькими способами. Всё зависит от задач и ситуации, которая сложилась на проекте. Если есть подозрения, что сайт валят поведенческими факторами с помощью софта вроде WebVisitor или шаблона Zennoposter, сначала надо очистить проект от спамного трафика.

Для этого можно воспользоваться системами фильтрации, о которых мы рассказывали выше. Они хорошо справляются с разными проявлениями ботовой активности и могут защитить сайт от скликивания рекламы, что очень важно для MFA  проектов. 

Второй способ узнать количество прямых заходов — отчёт «Роботы» в Яндекс.Метрике. С помощью него можно узнать процент роботности — число ботов, которые заходят на сайт, сопоставить с данными о прямых заходах и сделать выводы.

Андрей Новоселов

Head of Content в Travelpayouts

Что касается инструмента для определения реального количества прямых заходов, то мне нечего специфического подсказать. Юзаю GA/Метрика, какого-то отдельного колдовства, чем доступные инструменты, не использую.

Нужно ли блокировать подозрительные IP-адреса

Веб-мастеров, которые сталкиваются с атаками ботов, сильно волнует риск попадания под санкции. Поэтому они часто начинают без разбора банить все подозрительные устройства по IP-адресам.

Даже при использовании умных систем фильтрации трафика нужно внимательно настраивать параметры в соответствии со справкой. Из-за ошибки в конфиге на сайт могут не попадать Android пользователи или посетители, которые подключаются по протоколу HTTP. 

Если объём подозрительного трафика минимальный и все боты палятся по IP в рамках одной подсети, можно забанить их в настройках Метрики и следить за ситуацией. Когда масштаб проблемы увеличится, стоит использовать более эффективные методы.

Андрей Новоселов

Head of Content в Travelpayouts

В октябре 2020 года начали расти прямые заходы. С привычных 6-10% к январю 2021 года выросли до 50% в общем трафике.
Пробовали решение от Cloudflare, из-за особенностей настройки наших серверов нам было неудобно. Далее попробовали решение от antibot.cloud, на нем и остановились.
Чтобы не мешать живым пользователям, показываем защиту от ботов только тем, кто заходит напрямую и ещё в некоторых отдельных случаях.
Людям из поисковых систем и большей части других источников заглушка не показывается — так мы доставляем минимум неудобства настоящим людям, и при этом эффективно боремся с ботами. Прикрепляю график, как было, и как стало.

Может ли Яндекс достоверно определять роботность трафика

На фоне всплеска прямых заходов в Метрике и массовых жалоб веб-мастеров Яндекс выкатил обновление отчёта по роботам в сентябре прошлого года. Теперь система аналитики распознает два типа ботов: роботов популярных сервисов со своими юзерагентами и неопознанных.

Владельцев сайтов больше интересуют роботы, которые маскируются под пользователей — их сложно выделить из общей массы посетителей. Цель обновления — сделать статистику максимально точной. 

После апдейта Метрика убирает из отчётов всех роботов, которые представились и по умолчанию отображает данные без учёта ботов. Проблема в том, что система по-прежнему работает неидеально. Владельцы сайтов пишут в комментариях, что Метрика считает реальных пользователей ботами.

С 2021 года Яндекс.Метрика лучше распознает роботов, но далеко не во всех случаях. Поэтому нет смысла надеяться, что система аналитики автоматически решит проблему с накруткой ПФ и можно спокойно заниматься другими задачами.

Андрей Новоселов

Head of Content в Travelpayouts

На мой взгляд новая функция Яндекса не может на 100% определять роботов. Либо в прямых заходах мы имеем дело не с роботами.
То, что не справляется, делаю вывод из практики — для разных технических манипуляций мы в Travelpayouts иногда временно отключаем защиту от ботов, в этот срок количество прямых заходов в Метрике (и Аналитике тоже) растет, и Метрика большую часть не отмечает роботами.

Mik Foxi

Owner Antibot.cloud

Нет, последний алгоритм определения роботности показал свою полную несостоятельность, он работает по рандом признаку. Большинство поведенческих ботов не детектится как боты в Метрике.

Выводы

По итогам статьи можно сделать логичный вывод — проблема с наплывом ботов уже много лет массовая, она затрагивает информационные и коммерческие ниши. Поэтому если есть подозрения, что на сайте скручивают ПФ, лучше решить проблему как можно быстрее. 

Если ботов мало и нет подтверждений того, что они накручивают поведенческие факторы, можно просто держать ситуацию под контролем. Когда появится необходимость борьбы с роботами, можно задействовать все доступные инструменты.