Тьфу на тебя, рекламодатель!

  • Тьфу на тебя, рекламодатель!

Не так давно мы сделали некоммерческий проект, который сейчас находится в стадии бета тестирования - сайт с радиостанциями. Причин, подтолкнувших нас к его разработке было несколько - мы уже давно хотели поработать с ИИ, давно хотели поработать с анализированием поведенческого фактора пользователей, давно хотели поработать с реально большим объемом информацией.

Краткая, но важная информация о проекте - это сайт, имеющий список радиостанций, которые может прослушивать пользователь. Все песни, проигрывающиеся на станциях, мы анализируем, определяем валидные названия посредством ИИ. После ИИ определяет точные жанры групп. Под словом "точные" мы имеем ввиду не просто "metal", а к примеру "doom death metal". Все радиостанции и песни, добавленные пользователем в избранное, а также все песни, которые играли когда-либо на радиостанциях, так же анализируются и в конечном итоге пользователь получает достаточно точные рекомендации по радиостанциям и группам, которые могут ему понравиться. Весь необходимый для анализирования данных функционал создан, поэтому появилась необходимость в последнем элементе цепочки - пользователях. Не весь функционал представлен на сайте, но для беты пользователю его хватит сполна.

Встал вопрос - откуда привлекать пользователей? Мы вспомнили, что давно хотели опробовать рекламные кампании во ВКонтакте. До этого как то не представлялась возможность. "А почему бы и нет?" подумали мы и тут же приняли решение. Авторизация, зачисление символического бюджета на рекламу.
git add .
git commit -m 'beta'
git push origin/master

16.03.2018

Первая кампания была выбрана cpc (плата за клики). Дневной лимит достигнут, ВК показал по статистике 20 переходов. Хорошо. Пора глянуть в вебвизоре как ведет себя пользователь, а после посмотреть на записанные на сайте данные. Хм... Метрика показывает всего 8 переходов, из них, согласно визору, 5 ушли спустя 3 секунды. Интересно. Может просто визор глюкнул. С кем не бывает. Дадим яндексу пару дней отдохнуть и повторим.

19.03.2018

Продолжаем старую кампанию. Дневной лимит исчерпан, ВК показывает по статистике 16 переходов. Идем смотреть в метрику и... 5 посетителей.

Это уже странно. Необходимо стало выявить - с чем связан такой разрыв в показателях. С этим вопросом мы полезли в логи apache и nginx на сервер. И тут мы впали в недоумение. Сервер записал 13 запросов. Начинаем изучать, группируя запросы. Благо на сайте с посещаемостью в 0 пользователей, имея на ссылках utm метки это сделать достаточно просто.

1. 2018-03-19 11:15:04 [ 213.87.122.16 ] - Загрузилась страница, window.load достигнут.
2. 2018-03-19 11:19:48 [ 134.90.182.30 ] - Загрузилась страница, window.load достигнут.
3. 2018-03-19 11:33:47 [ 178.44.8.218 ] - Поступил запрос http, аналогичный ping. Страница даже не отобразилась.
4. 2018-03-19 11:37:43 [ 46.166.102.13 ] - Поступил запрос http, аналогичный ping. Страница даже не отобразилась.
5. 2018-03-19 11:44:11 [ 94.199.78.179 ] - Загрузилась страница, windows.load достигнут.
6. 2018-03-19 11:47:17 [ 188.187.144.211 ] - 2 раза подряд с разницей в 1 секунду произошел ping. На 3й раз произошел полноценный заход. Страница загрузилась, window.load достигнут.
7. 2018-03-19 11:47:46 [ 37.139.106.204 ] - Поступил запрос http, аналогичный ping. Страница даже не отобразилась.
8. 2018-03-19 12:00:35 [ 213.87.155.110 ] - Качественный лид
9. 2018-03-19 16:36:56 [ 84.201.148.33 ] - - 1й запрос - ping. 2й - страница загрузилась, window.load достигнут. 3й - поведение качественного лида

При этом все страницы отдаются со средней скоростью в 0.165 секунд и имеют 200 й ответ. Получается из заявленных ВК 16 переходов дальше получения html от сервера дело дошло только у 6 посетителей? Непонятно.
С этим вопросом мы обратились в техподдержку ВК ночью 20.03.2018

20.03.2018

Ответ получили днем.

Само собой техподдержка ВК заявила, что это проблемы у метрики/аналитики, не забыв добавить о том, что ушлые пользователи порой отключают исполнение JS на сайтах. Метрика метрикой, а вот с логами apache и nginx не поспоришь. На них отключенный JS никак не влияет. Да и если на то дело пошло - согласно логам все пользователи заходили с ПК с хрома, лисы и edge. Кто нибудь кроме веб разработчиков знает как в этих браузерах специально отключать JS? Единицы. Да и какое "специально отключение JS в браузере" в 2к18? Ну серьезно...

В то, что у пользователей может быть отключено отображение картинок мы можем поверить. Мобильные браузеры умеют это делать в режиме экономии трафика. Но есть 2 "но":
1. Заходы были с десктопов
2. Ни один браузер ни в одном режиме не может отключить загрузку шрифтов. Запрос к серверу по адресу нахождения шрифтов мы расценивали как один из факторов, которые указывали на начало рендеринга страницы, свидетельствующих об успешном достижении события document.ready .

После тыкания в то, что эти данные мы взяли с логов, техподдержка все же решилась хотя бы спросить о какой кампании идет речь. А тем временем мы решили посмотреть данные за текущий день. ВК показывает 16 переходов, метрика - 3 пользователя.

Ну не может же все быть настолько плохо... Смотрим логи.

1. 2018-03-20 01:28:43 [ 87.117.61.110 ] - Качественный лид
2. 2018-03-20 02:09:31 [ 95.221.7.9 ] - Поступил запрос http, аналогичный ping. Страница даже не отобразилась.
3. 2018-03-20 02:09:41 [ 217.118.83.150 ] - Качественный лид
4. 2018-03-20 03:07:34 [ 128.69.2.97 ] - Загрузилась страница, window.load достигнут.
5. 2018-03-20 03:08:20 [ 195.211.23.208 ] - Поступил запрос http, аналогичный ping. Страница даже не отобразилась. В заголовках compatible; vkShare; +http://vk.com/dev/Share. Источник отсутствует.
6. 2018-03-20 07:10:38 [ 212.35.162.170 ] - Поступил запрос http, аналогичный ping. Страница даже не отобразилась.
7. 2018-03-20 10:12:34 [ 84.201.148.33 ] - Загрузилась страница, window.load достигнут.
8. 2018-03-20 10:16:24 [ 84.201.148.33 ] - Качественный лид

Метрика все же немного врет. Согласно логам сайт отобразился 5 раз. Но все равно до заявленных 16ти еще далеко. Очередной отчет был предоставлен техподдержке ВК.

Позже поступил ответ.

Разберем.

Первое, на что хотелось обратить внимание — это на размер массива данных, который Вы анализируете. На таких объемах сделать выводы о фроде не представляется возможным. Такая выборка не является статистически значимой. Мы рекомендуем использовать метки...

Выборка, при которой статистика ВК за 2 дня показывает 32 перехода, но до сервера доходит только 9 человек, по мнению ВК не является статистической значимой. И это учитывая что сервер отдает html за 0.165 секунды, а мы оценивали хотя бы момент начала рендеринга html браузером. Наверное надо еще денег закинуть, чтобы можно было судить. Фрод на лицо.

Рекомендуем протестировать в качестве дополнительного источника статистических данных Adriver, например (по нашему опыту расхождения минимальны), дополнительно старгетировав объявления на браузеры + к каждой рекламной ссылке добавлять utm метки.

Именно utm метки и логи с сервера помогли получить столь точные данные.

Итоги

Мы бы не имели претензий, если бы в их договоре оферте не был описан термин "Переход".

Клик (переход) — переход Пользователя по ссылке с Рекламного объявления на рекламируемый Заказчиком раздел сайта ВКонтакте (внутренняя ссылка) или иной Интернет-ресурс (внешняя ссылка). Ссылки (внутренние и внешние) должны быть релевантны Рекламному объявлению.

В свою очередь термин понятия "пользователь" у них тоже присутствует.

Пользователь — физическое лицо, пользователь социальной сети ВКонтакте, зарегистрированный в установленном порядке на сайте ВКонтакте.

Затестировав рекламу сервиса ВКонтакте мы пришли к выводу, что физический лид ценой в 16 рублей в сфере, где конкуренции попросту не существует и стоимость лида оценивается в 60 копеек, это очень дорого. Почему мы сказали "физический лид"? Все очень просто - нашу рекламу скликали боты. Это было видно и по запросам, которые фактически являлись пингом с целью получить код ответ сервера, и по поведению ботов что подороже на странице сайта, основываясь на вебвизоре. Их очень легко определить, когда сами их разрабатываете тоже. К слову ботов, имитирующих пользователей, в нашей статистике мы тоже считали как лидов. Мы были готовы к расхождению в статистике сервиса и данных нашего сервера, но не к столь большой разнице. Нами была зафиксирована погрешность показателей в 320%.

Мы сделали для себя вывод и сформировали окончательное мнение об этом сервисе. Какой вывод для себя сделаете Вы - решать Вам.

P.S.

Если Вас заинтересовало описание нашего проекта и вы хотите помочь в его развитии или просто любите слушать радио - переходите на worldwideradio.ru. Если у Вас появятся какие либо замечания или предложения - пишите на info@worldwideradio.ru . Работа над проектом ведется постоянно и Ваше мнение и замечания очень важны для нас.