Чистим кампании от ботов: лайфхаки в Keitaro

Последнее время люди часто пишут, мол, рекламу аппрувнули, но после определенного спенда сходу вылетает на policy, либо домен вылетает по политике, а РК благополучно падает. Поэтому я решил чисто для себя разобраться в чем может заключаться проблема (хоть и отчасти теоретически). Для эксперимента я буду использовать трекер Keitaro.  

Зимний турнир для партнеров 888STARZ, — SANTA’S CASH PARADE

Подробнее

Реклама

Не забудьте подписаться на блог PoiskROI, если материал вам зайдет.

В нашем эксперименте будет использоваться трекер Keitaro. Стоит сразу отметить, что у каждого человека может попадаться отдельный вид ботов и их спецификации. Так что подобные действия желательно делать изначально, чтобы всегда можно было ужесточить наш отбор, кому показывать блек.

Не будем далеко ходить: первым делом соберем список UserAgent’ов, которые уже были обнаружены и доступны в паблике вот по этой ссылке. Я добавил их на стороне IMKLO — для фильтрации на стороне имкло. И продублировал в Keitaro.

Для чего это сделано? Я часто вижу, как один и тот же IP бота заходил как 2 разных клика. В 1 клике — пустой UserAgent, а во 2-ом клике UserAgent уже есть. Я думаю, что первое время для разгона вашей личной базы ботов в ситуациях, подобных той, что я описал выше, нужно покрутить и собрать IP и UserAgent’ы, чтобы в будущем они фильтровались без проблем.

Ранее я использовал подобную раскладу фильтров в Keitaro :

Она и сейчас нормально работает в плане сортировки. Но я решил пойти дальше. Keitaro как и любой другой трекер очень обширный в плане настроек велосипед. И многие думают: «зачем лезть внутрь, если он едет?» Зря. Давайте разберем детали “велосипеда», чтобы понимать, что мы можем вообще использовать в ловле ботов.

Там есть как не очень полезные для нас фильтры: 

• Интервалы дат
• Расписание
• Лимит кликов
• Сайты
• Ключевики
• Поисковики
• IP, IPv6
• Сотовые операторы
• Провайдеры (если ГЕО баз нету)
• ОС, Версии ОС, Языки

Так и очень интересные для нас:

• Рефереры
• Ad Campaign ID
• Creative ID
• Пустой реферер
• Прокси
• ГЕО (Город\Старана)
• Проверка IMKLO
• Проверка HideClick
• БОТ, Уникальность, Типы соединения, Браузеры (и версии) , Тип и модель устройств, UserAgent’ы и Sub’и.

А для тех, кто в теме, есть еще параметр “X-Requested-With”. С помощью этих запчастей можно собрать отличный апгрейд нашего велика. Главное знать, что делать и понимать. что получим в конечном итоге.

Давайте детальнее рассмотрим интересные для нас фильтры, исходя из данных уже отлитого трафика. Часть переменных там присутствует, и это поможет нам в будущем. При использовании ДОП параметров, которые передают с FB, ссылка получается вот такой:

https://домен/ключ?utm_creative={{ad.name}}&utm_campaign={{campaign.name}}&utm_source={{site_source_name}}&utm_placement={{placement}}&campaign_id={{campaign.id}}&adset_id={{adset.id}}&ad_id={{ad.id}}&adset_name={{adset.name}}

• Рефереры — сайты с которых был осуществлен переход на ваш сайт.
• Placements, Ad Campaign ID, Creative ID — данные с фб. Точнее их ID и имя
• UserAgnet’ы — отпечаток браузера, ну и Sub’ы понятно что это.

Остальное, думаю, понятно. А теперь глянем на историю трафика:

Получается, 2\3 переходов были сделаны с адекватными юзерагентами, даже с ОС и браузером. Но что самое интересное — это другое ГЕО и пустые переменные типа  {{campaign.name}} и других. Стоит учитывать, что пустые {{}} переменные — это не всегда боты.

Как видим на видосе, идет много юзерагентов facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php). Это краулер фейсбука, который GET запросом выгружает весь HTML код вашей страницы. Более детально можно ознакомиться по этой ссылке. 

Анализируем отчеты

Если смотреть более подробно, то картина выглядит следующим образом:

А вот и ярковыраженные боты:

• facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
• Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534+ (KHTML, like Gecko) BingPreview/1.0b
• Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.89 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
• Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.188 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
• Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.88 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

А если разбить еще и на Creative ID, получится вот так:

Также в ботов записываются все клики, которые происходят не с нашего ГЕО.

Выводы

Используем вот этот публичный список ботов, добавляем юзерагент:

• httpx — Open-source project (github.com/projectdiscovery/httpx)
• Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.89 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
• Mozilla/5.0 (Linux; Android 6.0.1; Nexus 6P Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.83 Mobile Safari/537.36
• Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534+ (KHTML, like Gecko) BingPreview/1.0b

Вот полный список UA. Получаем список IP краулеров: “whois -h whois.radb.net — ‘-i origin AS32934’ | grep ^route”, IP4-айпишки добавляем в Keitaro для ботов.  IPv6 отключаем. 

На этом пока все, но сразу хочу вас предупредить. Не копируйте настройки один в один — зачастую это не просто не поможет, а сделает еще хуже. Берите за пример и находите настройки, которые подойдут вам. свои настройки, которые подойдут именно вам, обновляйте айпишники краулеров FB и анализируйте свои клики! 

Ваш трафик = ваши боты = ваши проблемы. С вами был PoiskROI.