Игра в цифры. Как аналитика позволяет видеоиграм жить лучше - Василий Сабиров

Для группы B. По данным progamedev.net, медианный показатель удержания первого дня (Day 1 Retention) у игр жанра Simulation – 22 %, Action – 24 %, Adventure – 24 %. Как бы вы оценили медианный показатель Day 1 Retention у игр жанра Racing?

Как видите, у группы B «якоря» стояли на более низких значениях, чем у группы A. Повлияло ли это на оценку Day 1 Retention у игр жанра Racing?

Повлияло, и более чем.

Эксперимент 4. Оцениваем стоимость вина

А что если респондент сам установит себе «якорь»? Для этого мы попросили респондентов сначала указать последние две цифры их номера телефона (по сути, случайное двузначное число). А затем мы попросили их оценить стоимость одной и той же бутылки вина (в долларах). И вот что получилось.

То есть те, кто ранее написал меньшее значение (от 00 до 20), имели тенденцию более низко оценивать стоимость бутылки, чем те, кто ранее написал значение от 80 до 99.

Закон больших чисел

Наконец, мы решили проверить работу закона больших чисел. Мы рассчитывали, что если попросим респондентов оценить некое значение, то средняя оценка по выборке будет близка к фактическому значению.

Эксперимент 5. Когда родился Ньютон?

Для начала мы попросили оценить год рождения Исаака Ньютона. Ньютон родился в 1643 году, но респондентов мы очень попросили не «гуглить» это.

В целом видно, что средняя оценка начала приближаться к факту. И, вполне вероятно, что если бы респондентов было больше, то она приблизилась бы еще сильнее.

Эксперимент 6. Чемодан конфет

Теперь вернемся к нашему чемодану с конфетами. И это единственный эксперимент, который нам не удался. По непонятной нам причине средняя оценка в определенный момент взяла устойчивый тренд на рост.

В чемодане было 544 конфеты, и нашелся человек, который угадал это с точностью до одной конфеты (девушка по имени Алина назвала число 543). Чемодан нашел своего владельца, конфеты – тоже.

В конце мне хочется сказать, что законы поведенческой экономики, кажется, работают. Мы видим в ней еще один ракурс, под которым стоит рассматривать работу над продуктами и их монетизацию. При правильном применении этих законов можно повысить средний чек, не меняя лояльности пользователей. Так что используйте поведенческую экономику во благо, но все же будьте аккуратны – лояльность может оказаться дороже!

Глава 12

Data driven-подход и A/B-тесты

Украли у мужика корову. Приходит он домой и говорит сыновьям:

– У нас корову украл какой-то дурак.

Старший брат:

– Если дурак – значит маленький.

Средний брат:

– Если маленький – значит из Малиновки.

Младший Брат:

– Если из Малиновки – значит Васька Косой.

Все выдвигаются в Малиновку и там прессуют Ваську Косого.

Однако Васька корову не отдает. Его ведут к мировому судье.

Мировой судья:

– Ну… Логика мне ваша непонятна. Вот у меня коробка, что в ней лежит?

Старший брат:

– Коробка квадратная, значит, внутри что-то круглое.

Средний:

– Если круглое, то оранжевое.

Младший:

– Если круглое и оранжевое, то апельсин.

Судья открывает коробку, а там и правда апельсин.

Судья – Ваське Косому:

– Косой, отдай корову.

Анекдот

Говоря об аналитике и об аналитиках, я всегда явно или косвенно имею в виду data driven-культуру.

Data driven-культура – это в некотором роде недостижимый идеал, как, например, гражданское общество: все к ней стремятся, много кто о ней говорит, но очень мало кто может похвастаться тем, что именно так выстроил процессы.

О чем речь? Что это за культура такая?

Что такое data driven-культура?

Не давая официальных определений, попробую дать свое: data driven-культура – это подход к управлению продуктом (и компанией!), заключающийся в том, что основным критерием принятия решения являются данные.

Хочу обратить внимание на два пункта из этого определения.

– Основной, но не решающий критерий. Это важно. В принятии решений в первую очередь опираются на данные, но имеют в виду не только их, но и, например, мнение собственников.

– Данные. Что такое вообще данные? Здесь это может быть не только таблица в Excel, но и результат изучения рынка, а также знания человека, принимающего решения, максимально лишенные при этом субъективности.

Все ли мы можем получить с помощью данных? На все ли есть ответы в тех данных, которые проект (или другие проекты) накопили к тому моменту?

Конечно же, нет. А раз так, то в data driven-культуре во главу угла ставится контролируемый способ проверки – A/B-тест (он же сплит-тест), и ему посвящу отдельный раздел.

Есть компании, которые настолько не data driven, что даже data resistant: «Ой, не нужны нам эти ваши отчеты, мы и без вас знаем, что делать».

В data driven-культуре же наоборот: отчет – это важная сущность, которая сопровождает принятие решения. При этом, что важно, как до решения (чтобы принять его более точно и, например, четче прописать фичу, которая будет внедрена в игру), так и после (чтобы проверить, действительно ли мы приняли правильное решение, сделав это максимально беспристрастно).

Но при этом: если в компании производится множество отчетов, можно ли ее назвать data driven? Нет.

Например, у игры за прошлую неделю упал доход, и аналитик даже подготовил об этом отчет. Это data driven? Вовсе нет. А почему же?

– Во-первых, этот отчет прочитали? Все ли, кто причастен к доходу, знают об этом падении? Если отчет есть, это еще совсем не значит, что его прочитали или прочитают. И чтобы его читали, аналитику надо его делать интереснее (смотри главу про то, каким должен быть отчет), менеджеру компании – позаботиться о том, чтобы люди, принимающие решения, всегда читали и комментировали отчеты, ну а те, кто принимает решения (продюсеры, например), должны сделать их частью своей профессиональной жизни.

– Во-вторых, почему упал доход? В описанном отчете мы только констатировали факт: доход упал. Но совсем не поговорили о причинах. Задача аналитика – разобраться в том, что произошло, и дать не только четкий диагноз проблеме, но и рекомендации по тому, что теперь делать.

– В-третьих, почему мы узнали об этом только через неделю? Почему нас не предупредили в первый день падения? А можно ли было предугадать проблему