Игра в цифры. Как аналитика позволяет видеоиграм жить лучше - Василий Сабиров

– Если вы проводите эксперименты с ценообразованием, то они сами выведут вас на оптимальное решение и наиболее эффективные цены. Ваша же задача – просто правильно задать стартовую точку и начать с нее эксперименты. Конечно, у вас не бесконечное число итераций (так все было бы куда проще), и поэтому стартовая точка столь важна. А уж дальше правильно организованные эксперименты скорректируют цены более выгодным для вас образом.

При чем здесь Райан Гослинг?

На конференции DevGAMM в мае 2019 года компанию devtodev пригласили провести аналитический трек, в котором приняли участие представители компаний Playkot, NX Studio, Mail.Ru Group, Crazy Panda, Belka Games, Kefir, SkyEng, AIC и Azur Games.

План эксперимента

Мы подготовили программу из нескольких докладов и круглых столов, а также заготовили небольшой сюрприз. Весь день на сцене стоял чемодан с конфетами, всем желающим было предложено угадать, сколько в нем конфет (мы заранее их посчитали). И тот, кто угадает или окажется ближе всего к истине, должен был забрать с собой и чемодан, и конфеты. Для ответа на вопрос необходимо было заполнить Google-форму, доступную по QR-коду. Так это выглядело снаружи.

На самом же деле все было несколько хитрее.

– Во-первых, QR-кодов было два, и это был A/B-тест. Чем отличались формы, я расскажу чуть позже.

– Во-вторых, в обеих версиях формы, помимо вопроса о чемодане конфет, расположенного в списке последним, было еще несколько вопросов, основная часть из которых была обязательной. Таким образом мы хотели попутно протестировать еще несколько интересных гипотез.

В итоге в конце дня мы прочли доклад, в который вставили результаты опроса. Почти все гипотезы, которые мы проверяли, были подтверждены.

Пара дисклеймеров

Но сначала несколько технических моментов. Мы сразу понимали, что никакой речи о статистической значимости быть не может. Мы ориентировались на 100 респондентов (и почти угадали), а на таких масштабах едва ли можно рассчитать t-тест, z-тест и все прочие тесты.

Чтобы в каждой из групп теста было примерно одинаковое число респондентов, нам пришлось потрудиться. Мы разместили в зале два рекламных стенда, на каждом из которых был указан свой QR-код. Флаеры, которые раздавались публике, тоже были двух видов.

По истечении нескольких часов мы увидели, что число респондентов в группе A значительно превосходит группу B, и было принято решение поменять рекламные стенды местами, а также заменить флаеры на новые. Это немного выровняло статистику, однако пришлось буквально за руку привести нескольких людей и дать им нужный флаер.

В конечном счете все получилось, и сейчас самое время рассказать об этом.

Общие данные

Всего у нас было 103 респондента, из которых 77 – мужчины, а 26 – женщины. У нас был еще вариант «предпочитаю не указывать», но его никто не выбрал.

51 респондент оказался в группе A, 52 – в группе B.

Эффект приманки

Из поведенческой экономики известен так называемый эффект приманки (decoy effect). Суть его в том, что, совершая выбор между двумя вариантами, респондент встает перед проблемой выбора и часто выбирает более дешевый. Тогда вводится третий, заведомо невыгодный вариант. Отвергая его, респондент с большей вероятностью принимает решение в пользу одного из двух других вариантов. Притом можно добиться того, чтобы в среднем выбирали более дорогой вариант.

Дело в том, что наш ленивый мозг, выбирая между вариантами A и B, слишком далекими друг от друга, чтобы их сравнивать, будет очень сильно напрягаться. А напрягаться он не особо любит. И чтобы ему помочь, к вариантам A и B добавляется вариант – A. Между A и – A выбор делается легко в пользу А, при этом по инерции A выигрывает сразу и у B.

Эксперимент 1. Крис Хемсворт и Райан Гослинг

Мы решили проверить эффект приманки следующим образом. Группе B было предложено выбрать, кто из мужчин кажется им более симпатичным, Крис Хемсворт или Райан Гослинг (чтобы выбрать, какие именно мужчины попадут в опрос, пришлось «гуглить» top sexiest men 2019 – и я никогда бы не подумал, что придется это делать по работе). В итоге голоса распределились вот так:

Крис Хемсворт победил. Вероятно, это как-то связано с тем, что в мае в прокате как раз были последние «Мстители», где он снимался.

Ну а в группе A мы добавили еще один вариант, и выбор был из трех картинок: Райан Гослинг, «помятый» Райан Гослинг и Крис Хемсворт. И вот что у нас получилось:

Как мы видим, «помятый» Гослинг позволил обычному Гослингу занять первое место в опросе. Нашлись, конечно, и те, кто проголосовал за «помятого», ну да бог им судья.

Кстати говоря, попутно мы выяснили, что мужчинам больше нравится Гослинг, а женщинам – Хемсворт.

Эксперимент 2. Цена на попкорн

Как же применить этот метод для монетизации? Этому был посвящен наш следующий эксперимент.

Группе А было предложено выбрать один из двух стаканов попкорна: маленький за 100 рублей и большой – за 200.

Для группы «B» был выбор из трех позиций:

– маленький – 100 рублей;

– средний – 180 рублей;

– большой – 200 рублей.

Как видим, средний вариант по цене ближе к большому, его задача – оттенить внимание в большую сторону.

Видим, что средний вариант со своей задачей вполне справился. Его добавление позволило поднять средний чек с 136,5 рубля до 161,9 рубля, то есть на 19 %. Еще раз: мы просто добавили еще одну позицию в магазине, и только от этого чек вырос на 19 %.

Эффект якоря

Далее мы хотели проверить эффект якоря. Его суть заключается в том, что если заранее установить респонденту «якорь» на некоем численном значении, то в будущем при какой-либо численной оценке респондент будет отталкиваться от «якоря».

Эксперимент 3. Удержание в гоночных играх

Чтобы проверить эффект якоря в нашем эксперименте, мы задавали следующий вопрос.

Для группы A. По данным progamedev.net, медианный показатель удержания первого дня (Day 1 Retention) у игр жанра Trivia – 35 %, World – 38 %, Casino – 34 %. Как бы вы оценили медианный показатель Day 1