Игра в цифры. Как аналитика позволяет видеоиграм жить лучше - Василий Сабиров

NPS выбрасывает из расчетов часть пользователей.

Если предположить, что вероятность поставить каждую из оценок распределена равномерно, то, не принимая в расчет тех, кто поставил оценки 7 и 8, вы не смотрите на 18 % ответивших пользователей. Не самая маленькая погрешность для количественного метода!

NPS зависит от культурного аспекта.

Все мы с вами по-разному воспринимаем действительность, и шкала от 0 до 10 не является однозначно трактуемой в разных культурах. Например, в США оценки пользователей более полярны, там гораздо меньше доля нейтрального отношения: им либо нравится продукт, и тогда оценки ставятся максимальные, либо нет, и тогда оценки ставятся негативные. В российской же культуре есть некое стремление к «нормальному» (как дела? нормально!), и поставить оценку 0–1 или 9–10 означает действительно признать свою яркую эмоцию, на что способны далеко не все; здесь гораздо больше оценок 5 и 6, означающих в России среднее «нормальное» отношение к продукту, но считающихся негативными по методологии NPS.

NPS не учитывает структуру аудитории.

Во free-to-play играх, например, 90–95 % дохода приносят старые игроки, давно зарегистрировавшиеся и совершившие не один платеж. Таковых игроков обычно не более 5 % от общей аудитории, и если говорить про NPS, то они едва ли смогут заметно повлиять на значения индекса. Хотя истинная лояльность, выраженная в деньгах, у этих пользователей куда больше. Придавая меньшее значение core-аудитории, вы рискуете принять решение, которое понравится молодым неплатящим игрокам и не будет принято теми, кто приносит вам деньги.

Кейс

Одна из компаний, которая обратилась к нам за аналитическими консультациями, выпустила апдейт, довольно серьезно изменивший экономику игры. Чтобы оценить, как пользователи отнеслись к обновлению, мы воспользовались NPS и выяснили, что NPS вырос. А доход упал!

Стали разбираться и поняли, что данное обновление отлично сработало на не платящую аудиторию, но не понравилось платящим игрокам. Платящих игроков сильно меньше, и их доля в NPS оказалась незаметной.

Если посчитать NPS в том случае отдельно по платящим и не платящим, то можно увидеть, насколько по-разному разные сегменты пользователей отреагировали на изменение.

Как вариант, чтобы избежать таких кейсов, нужно делать NPS средневзвешенным, где в качестве веса указывать суммарные платежи по каждому пользователю. Пусть не универсально, зато более справедливо.

NPS зависит от того, проходил ли клиент опрос ранее.

Когда пользователь сталкивается с вопросом: «Оцените вероятность того, что вы расскажете о продукте друзьям, от 0 до 10» во второй или третий раз и он помнит свой предыдущий ответ, то на его новый ответ могут повлиять два фактора.

1. «Опять они спрашивают, я же в прошлый раз отвечал». И оценка, таким образом, может снизиться просто из-за повторения вопроса.

2. «А что изменилось с последнего раза?» Пользователь, оценивая лояльность, будет ориентироваться не на весь свой Lifetime, а только на тот его промежуток, что прошел между двумя вопросами, и это не совсем лояльность, а скорее реакция на недавние изменения.

NPS требует периодического пересчета.

Допустим, вы рассчитали свой NPS и он оказался равным, скажем, 60 %. С тех пор немало воды утекло, выпущено множество новых релизов, и вы справедливо хотите узнать, как изменилась пользовательская лояльность.

Здесь стоит быть максимально аккуратными: в предыдущем пункте мы говорили о том, что повторяемость не играет на руку точности, а значит, желательно выбирать новую аудиторию (и желательно случайным образом) для опроса и выбирать из числа тех, кто еще не проходил его ранее.

Это не всегда просто сделать, сохранив репрезентативность выборки. С одной стороны, вам нужно больше пользователей, чтобы выборка была репрезентативна, с другой – увеличивается вероятность того, что пользователи пройдут опрос повторно. И далеко не всегда у вас под рукой достаточно технических средств, чтобы справиться с этой задачей.

NPS – инерционный показатель. Учитывая, насколько разные слои аудитории попадают в опросы, вы не можете сказать о том, насколько часто эти люди в среднем пользуются продуктом. Точнее так: если смотреть в среднем, то пользуются скорее всего реже, чем вы думаете. А значит, в отношении людей к продукту наблюдается инерционность: не все успевают следить за вашими обновлениями и принимают решение от 0 до 10 на основании ранее выработанного отношения к продукту.

NPS не отвечает на вопрос «почему».

Опять же, NPS – это простой мысленный эксперимент, измеряющий текущее поверхностное отношение к продукту. И, вооружившись одним лишь NPS, вы не сможете ответить на вопрос, почему тот или иной пользователь поставил негативную или положительную оценку.

Какие выводы можно сделать?

Так что же теперь, не пользоваться устоявшимся механизмом NPS?

– Во-первых, не опросами едиными жива пользовательская лояльность. В NPS пользователь проводит мысленный эксперимент, а истинную лояльность демонстрирует, голосуя своей активностью (возвращаясь в продукт) или рублем (совершая покупки продукта). Поэтому стоит также рассматривать и метрики удержания (Retention), и монетизации (ARPU, ARPPU, LTV). Вместе с NPS эти метрики способны куда больше рассказать о продукте.

– Во-вторых, если все же говорить об опросах, то у NPS есть альтернативы в виде других методологий опросов. В частности, американский индекс ACSI или европейский индекс EPSI. Всех минусов NPS они не лишены, однако там не один вопрос, а несколько, и они подразумевают чуть более подробные ответы.

– В-третьих, тот же NPS, если проводить его по всей технологии, может дать больше информации о продукте, если применить к нему сегментацию. Отдельно считая NPS по платящим и неплатящим, по странам, возрасту в продукте и другим видам сегментации, вы гораздо больше поймете о том, как на самом деле распределена лояльность пользователей и как она работает. Более того, я бы сказал, что к NPS нужно применять сегментацию обязательно, а без нее агрегированная оценка – это сферический конь в вакууме.

– В-четвертых, единственный бенчмарк, на который стоит ориентироваться, – это предыдущие значения NPS по вашему продукту. Другие ориентиры, полученные из открытых источников, могут служить вам лишь косвенно. Если вы знаете, что у других компаний, пусть даже конкурентов, NPS больше или меньше вашего, то это знание ничего вам не даст: вы не знаете, верно ли они его считают, вы не знаете, как NPS распределен по разным сегментам пользователей. Главное, чтобы NPS вашего продукта увеличивался со временем. А еще лучше, чтобы метрики удержания и монетизации также росли. Лишь тогда вы сможете более-менее однозначно сказать, что лояльность пользователей растет.

K-фактор и виральность

Виральность – важнейшая характеристика любого проекта. Если рассмотреть проект как модель, преобразующую входящий поток пользователей в