Проверяем качество popunder-трафика: слив с Dao.ad, Kadam и Royal Ads через продвинутый антифрод

Привет, мы Adspect — облачная платформа для клоакинга и фильтрации ботов в веб-трафике.

Присоединяйся к тематическому чату по push-увдомлениям, clickunder и popunder-трафику. В закрепе — готовые мануалы и инструкции по сливу, в чате — живое общение и ответы на ваши вопросы. Welcome! 

Этот материал будет первым в серии публикаций о тестировании качества трафика различных рекламных сетей на наличие в них кликфрода.

Если вдруг не в курсе, кликфрод (click fraud) — это накрутка кликов при помощи ботов, которые бывают самыми разными как в плане технической реализации, так и по сложности обнаружения. Для арбитражников кликфрод означает потерю части бюджета при сливе трафика.

В отличие от многих аналогичных сервисов, в своей работе мы не ограничиваемся одной лишь фильтрацией по черным спискам IP-адресов и делаем упор на более сложные и точные технологии — JavaScript-фингерпринтинг и машинное обучение. Если вкратце, то фингерпринтинг — это сбор машинных отпечатков браузеров посетителей, которые состоят из сотен различных фактов о JavaScript-окружении браузера. По отдельным фактам в этих отпечатках мы можем определять неблагонадежных посетителей, начиная от подозрительных с подменой user agent-а и заканчивая откровенным
фродом с использованием headless-браузеров и построенных на них систем веб-автоматизации.

Машинное обучение дополняет сканирование отпечатков вероятностным анализом и способно по совокупности признаков распознать фрод даже тогда, когда его пытаются тщательно замаскировать. Мы занимаемся разработкой наших технологий более года и успели много раз убедиться в их эффективности как в приватных сливах, так и на примере наших клиентов.

В этой статье рассмотрим трафик из трех рекламных сетей: Dao.ad, Kadam и Royal Ads, выбранных по принципу «хорошо, удовлетворительно, плохо». Методика тестирования проста: мы сливаем мобильный и десктопный трафик с нескольких ключевых гео через нашу систему и оцениваем процент людей в трафике, который выдает наша статистика, — у нас этот показатель так и называется «Качество». Мы никак не учитываем конверсию (EPC/eCPM) и вообще поведенческие факторы, это лежит за рамками наших тестов. Здесь мы оцениваем качество трафика только по низкоуровневым машинным признакам.

Последнее, что хотелось бы отметить на этом берегу: боты, разумеется, есть везде, кто бы что ни говорил. Вам не всегда врут — иногда их просто не могут обнаружить, это дело хитрое и вообще является целым отдельным рынком.

Типовая настройка тестового потока в нашей системе приведена на скриншоте ниже:

Тест №1: Dao.ad

Начнем с хороших результатов. В Dao.ad попсы появились относительно недавно, и мы были изначально настроены очень скептически, ожидая от их нового формата больших объемов фрода. В попандере боты очень распространены, а техническая экспертиза для их обнаружения есть далеко не у каждой сетки, как и вообще желание их ловить. Что ж, первое впечатление оказалось обманчиво: Dao.ad удивили качеством, которое оказалось значительно выше, чем мы ожидали.

Мы пролили три гео из числа актуальных: US, RU и IN, микс десктопа и мобайла. Лили одну кампанию, а срезы статистики по гео делали при помощи параметра Sub ID, в качестве которого взяли гео из их макроса {country}. Стата по живому трафику следующая:

• Индия — 76%
• Россия — 71%
• Штаты — 64%

Для попандера без блеклистов это весьма высокие показатели, которые близки к push-трафику. Ожидания были в 2-3 раза ниже.

Далее решили отдельно посмотреть срезы по мобайлу или десктопу на примере Штатов. Получилась пропорция 42% в мобайле против 68% в десктопе. Закономерно, так как мобильный трафик обычно доминирует по выкупу и таким образом является более перспективным в плане фрода.

По сути отфильтрованного отметим следующее: сравнительно много трафика c WebView, но если предположить, что Dao.ad считают его за Chrome на Android, то реальные показатели даже лучше, так как отфильтрованный нами WebView может оказаться преимущественно живым. Еще много ботов определяются как таковые из их user agent-ов и IP-адресов. Автоматов типа PhantomJS немного. Встречаются клики из мобильных приложений, настройка потока также отнесла их к ботам, что на наш взгляд справедливо, так как трафик из прил мы не заказывали.

Тест №2: Kadam

Следом результаты несколько хуже, но все равно выше средней планки, которая в нефильтрованном попандере обычно не выше плинтуса. Тестирование рекламной сети Kadam принесло в целом положительное впечатление. Мы лили те же три гео: US, RU и IN, десктоп и мобайл вперемешку. Впоследствии взяли RU как середнячок по полученным результатам и отдельно пролили мобайл и десктоп, чтобы проверить зависимость качества трафика от платформы.

Качество трафика в разбивке по гео получилось следующим:

• Индия — 78 %
• Россия — 61 %
• Соединенные Штаты — 44 %

Это может показаться парадоксальным и неочевидным, но качество трафика в Tier 1 действительно хуже, чем в Tier 3. Это закономерная тенденция, ведь чем дороже гео, тем более рентабельна накрутка кликов в нем. Особенно если речь идет о наиболее продвинутой накрутке при помощи программируемых браузеров типа PhantomJS или Selenium. Для содержания клик-фермы из таких браузеров нужны ощутимые серверные мощности — движки Gecko и WebKit. В их основе вычислительно тяжелый софт, который к тому же требуется крутить в многопоточном режиме, периодически «убивая» процессы и создавая заново с новыми настройками user agent, прокси и т.п.

Ситуация по платформам тоже оказалась предсказуемой: качество мобайла оказалось хуже десктопа, 56% против 78%. Как и в случае с Dao.ad, это вполне естественная картина. Несколько удивил разброс по количеству отфильтрованных «сложных» ботов (программируемых браузеров) — 6% в десктопе против 31%
в мобайле. Думаем, что это также обусловлено общим фокусом аудитории (в том числе фродящей) на мобильном трафике.

Отметим, что среди не-тупых ботов лидируют headless-браузеры. Судя по встречающимся сигнатурам, Kadam фильтруют часть из них самостоятельно (в частности, PhantomJS), но не всех, отдельные зверьки все же ускользают от их собственного антифрода.

После более детального анализа статистики обнаружилось, что наибольшая часть фрода приходится на мелкие площадки, по которым было мало показов. Было решено сделать повторный пролив тех же гео, отключив при этом все площадки, дающие менее 100 показов в день. Результаты заметно улучшились: качество трафика на крупных площадках в Kadam сравнимо с качеством в Dao.ad, поэтому справедливости ради внесем эту оговорку в наше финальное резюме: Kadam — хороший источник трафика при условии выключения мелких паблишеров.

Тест №3: Royal Ads

И напоследок анти-кейс, статистика по которому предоставлена одним из наших клиентов. Трафика хуже, чем в Royal Ads, еще нужно поискать.

Лился их попандер, Android, world-wide микс из разных гео. Мы не стали выяснять детальные срезы по отдельным странам, так как общий результат — менее 1% живого трафика — делает любой более пристальный разбор нецелесообразным. Мы также не располагаем статистикой из самой Royal Ads, так что результаты относительно их цифр будут скорее всего еще хуже.

Львиную долю всей накрутки (60%), как обычно, составляют обычные кликеры, которых из-за их тупого устройства даже сложно как следует препарировать. Среди способных выполнять JavaScript ботов лидируют все те же PhantomJS и CasperJS — классика жанра для попандера. Практически вся сеть, как мы ее видим на примере этой кампании, это одна большая фабрика роботов.

В заключении хотим подчеркнуть, что ранняя фильтрация ботовых площадок — это незаменимый инструмент в работе с попандер-трафиком, так как позволяет занести явно нездоровые источники в блеклист, не дожидаясь первых конверсий, которых может и не быть вовсе. Это поможет вам тратить на сбор блеклистов раз так в 10 меньше денег, чем если бы вы делали это по одному только конверту.

Для наших читателей у нас также есть промо-код PROTRAFFIC на скидку 25% при подписке. До новых встреч!