Цифровой журнал «Компьютерра» № 42

Поэтому сиюминутные метрики становятся в головах людей превалирующими, более того — в интернете все можно править налету, все сразу видно. Но изменения, вызванные сиюминутными наблюдениями вызывают определённые проблемы. Вспомнить пример с фокус-группами — если пользователь говорит, что ему что-то кажется прикольным, наверное, можно из этого сделать некую однократную акцию. Если же сделать такое явление постоянным — на этом можно навсегда потерять лояльную аудиторию. То, что что для случайных посетителей будет очень прикольно, может быстро надоесть тем, кто пользуется сервисом постоянно.

Отсюда и проблемы всех этих долгосрочных решений, принятых на основе реакций, отслеживаемых за секунды или часы. Такое наблюдение не решает главного вопроса — долгосрочной любви и лояльности сайту. Эти пресловутые методы churn rate можно применять по-разному и собирать информацию из разных источников.

Если показатели «посыпались» — это может быть следствием любого эффекта. И определение причины — непрямая задача исследования. Причиной может быть что-то внешнее. Может быть, это естественная вещь — вы обновили версию и старые UID исчезли. На самом деле это не люди ушли, а лишь обновились идентификаторы программы.

Часто еще бывает, что конкурент что-то выпустил и те, кто были вашими лояльными пользователями, стали менять ваш продукт на аналогичный продукт конкурента. И такой звоночек, вовремя полученный из этой таблицы, позволяет быстро определить захватывает ли это всех, кто живет с вами уже полгода, или их уже никаким калачом не переманишь, и быстро принять ответные шаги.

Теперь немного практических выводов и советов. Во-первых, желательно любые измерения и изменения тестировать не только на сиюминутной метрике вроде тех самых фокус-групп или метрик вроде глубины просмотра. Хорошо бы предоставить продукт тестовой группе в параллель с основной версией и посмотреть долгосрочные метрики на группах пользователей, составляющих небольшую долю от вашей аудитории.

Можно посмотреть, как ведет себя программа и как ведут себя пользователи сервиса в интернете в тестовой группе. И в то же время изучить то, как ведут себя пользователи, которые зарегистрировались на нашем старом интерфейсе. Сравнивать напрямую их нельзя — у них разная реакция. Отношение этих долей лояльных пользователей к отношению периода полураспада и у лояльных и у «быстроутекающих» выявляется сериями метрик, за которыми в таком эксперименте нужно следить. Если делать это на регулярной основе — узнаете много нового и интересного.

Такие результаты разойдутся с кучей оценок, полученных путем простого предъявления интерфейса и его анализов в ходе работы фокус-группы на протяжении часа. Легко заметить, что любые большие порталы и сервисы всегда выкатывают тестовую версию (это может называться по-разному: закрытым тестированием, открытым тестированием, бета-версией), но всегда есть и долгосрочная. Нельзя за сутки померить лояльность, нельзя за сутки посмотреть, как будут вести себя люди, когда будут пользоваться сервисом регулярно. Поэтому такой период вывода чего-то в параллель не только приятен разработчикам, но и очень важен юзабилистам и маркетологам.

Почему все эти вещи я считаю абсолютно необходимыми для юзабилистов? Есть такая затасканная поговорка: у вас нет второго шанса произвести первое впечатление. Вот в том, насколько сильно отличается первое восприятие сервиса и лояльность к сервису, действительно главную роль играет интерфейс, очень важна и функциональность. Как ни странно, изменения функциональности гораздо меньше сказываются на сроках общения с сервисом чем реальное удобство использования. А удобство — это все-таки к юзабилистам, разработчикам интерфейсов, а не к маркетологов.

Второй практический вывод — это уже о бюджетах. Идеальной рекламной кампании в природе не встречается, но всем бы её хотелось. Запустить бы рекламную кампанию и ежедневно привлекать на сервис новых людей в одинаковом количестве и чтобы каждый из них настолько в него влюблялся, что остается пользователем навсегда.

На практике, в лучшем случае происходит так, как нарисовано синей кривой и любой рекламист это хорошо знает. Запустили интернет-кампанию, у вас есть некое нарастание, а как только кампанию завершили, посещаемость начала падать. В идеале — не до той величины, которая была до рекламы. Хотя в жизни, к сожалению, очень и очень часто падает в точности туда же.