Игра в цифры. Как аналитика позволяет видеоиграм жить лучше - Василий Сабиров

Пример

Существует легенда (не знаю, правда это или нет), что компания Google пыталась найти идеальный оттенок голубого цвета, чтобы подсвечивать им ссылки в письмах. Было разработано аж несколько десятков оттенков голубого (чуть не написал, что серого), и запущен A/B-тест на то, где выше CTR (доля нажатий). Тот вариант, который победил, опередил всех буквально на долю процента. Но определил статистически значимо. Секрет в том, что в каждую из групп их многочисленного теста попало очень много пользователей (ну это Google, он может себе позволить). И именно этот вариант мы сейчас и видим в письмах Google. Если это правда, то мне очень трудно представить, сколько денег дополнительно (в смысле, очень много) принес им в итоге этот тест.

При подготовке выборки также очень важно учитывать, чтобы функционал, который мы меняем, пользователь видел впервые.

Представьте абстрактного пользователя, который каждый день входит в игру и видит в ней зеленую кнопку. В определенный момент кнопка из зеленой становится красной, и пользователь, конечно же, нажимает на нее. Нажал ли он ее, потому что красный цвет действительно лучше конвертирует в нажатие? Конечно, нет, просто от неожиданности. Так вот, нам важно, чтобы такие неожиданности не влияли на результат теста, для этого их быть не должно.

Именно поэтому большинство тестов делается на новичках: с ними проще, они еще ничего не видели. Но есть и исключения – например, пользователь может быть опытным, но во внутриигровой магазин не заходил ни разу, тогда мы можем рассчитывать на него при A/B-тесте магазина.

И еще очень важно, чтобы распределение по группам теста происходило случайно. Например, если вы пользователям, пришедшим в среду, показываете одно, а тем, кто пришел в четверг, другое, то это ошибка. Это разные пользователи, они пришли в разные дни, по-разному мотивированы и несут в себе, вообще говоря, разный потенциал. То же касается и пользователей из Франции и Германии, из источника трафика 1 и источника трафика 2.

А как правильно? Помните распределяющую шляпу из Хогвартса?

Вот так и правильно. Надо поставить на вход в тест этакую шляпу, случайный распределительный элемент, который будет раскидывать пользователей по группам. В нашем примере эта шляпа должна работать и в среду, и в четверг – так, чтобы в обеих группах теста (если их две) оказалось сопоставимое число пользователей.

Иногда, чтобы проверить выборку на однородность, используют AA-тесты. Мы ничего не меняем в игре, мы просто случайно распределяем пользователей по группам. И если результаты в итоге отличаются, то это говорит нам о том, что аудитория слишком неоднородна (и, скорее всего, мала), чтобы делать на ней A/B-тесты и доверять им.

А еще есть вариант с AAB-тестом. Мы (случайно!) раскидываем пользователей на три примерно одинаковые группы, и для двух из них не меняем ничего, а для третьей – меняем. И тест будем считать успешным лишь в том случае, если группы A1 и A2 не отличаются друг от друга (статистически значимо не отличаются), и обе из них в одну и ту же сторону статистически значимо отличаются от группы B.

Выбор метрик

Здесь достаточно просто. Нам подойдут те же самые метрики, которые подходят для когортного анализа, – метрики качества проекта:

– ARPU;

– ARPPU;

– доля платящих и конверсия в платеж;

– Retention;

– накопительный доход за N дней.

А метрики количества (DAU, MAU, New Users, Gross, Revenue) тут не подойдут. Максимум, для чего они нужны, – чтобы указать нам на размер когорты, можем ли мы ей доверять.

В конце концов, A/B-тесты нацелены именно на изменение качества проекта, а количественные показатели лишь следствие.

Если задумываться о какой-то одной универсальной метрике для A/B-тестов, то это, пожалуй, накопительный доход за N дней. Она говорит нам о монетизации, она же неявно содержит в себе и указание на Retention.

Но на деле вы вольны выбирать любые другие качественные метрики для своих тестов. Любая конверсия, например, отлично подойдет.

Итак, мы запустили тест

Самое время скрестить пальцы. Совсем скоро мы узнаем, прошла ли наша гипотеза проверку на прочность.

Но здесь нас поджидает еще одна крупная потенциальная ошибка.

Допустим, запуская тест, вы заранее сделали ставку на какой-то из вариантов, вы болеете за него, как за лошадь на скачках. И пока тест идет, вы ненароком подглядываете, как там дела у метрик теста. В какой-то момент может возникнуть соблазн: кажется, наш фаворит действительно впереди, останавливаем тест, тут все понятно. Вот это и есть ошибка!

Такая проблема называется peeking problem, или проблема подглядывания. Многие ее допускают, и статистически доказано, что делать это неправильно. Вы же не останавливаете футбольный матч через 15 минут. И не останавливаете, если какая-то команда забила первый гол (к правилу золотого гола это не относится). Так давайте же дождемся окончания матча – простите, теста, – чтобы удостовериться в том, что тест действительно прошел правильно.

Интерпретация результатов и статистическая значимость

Настало время поговорить о статистической значимости. Она, как финальный босс, явно или неявно сопровождает нас всю книгу.

Допустим, в каждой из групп теста по 50 человек. И вы замеряете их среднее время сессии. У группы A получилось 3 минуты, а у группы B – 3 минуты и 3 секунды. Значит ли это, что

группа B несет в себе такое изменение, которое действительно изменит длину сессии для всех в будущем? Вовсе нет.

Начиная с какого объема выборки или начиная с какой длины сессии мы сможем сказать: «Да, скорее всего, группа B действительно лучше»?

Тут нужна некая мера уверенности в том, что результаты теста на маленькой выборке впоследствии сработают на всю массу пользователей. А вслед за ней и мера того, что мы можем ошибиться. Такая мера и называется статистической значимостью. Чем она меньше, тем лучше, потому что тем меньше вероятность нашей ошибки по итогам теста.

Как правило, значимость устанавливают на уровне 10, 5, 1, 0,1 %. Конечно, чем ниже мера ошибки, тем лучше и надежнее, но тем труднее в реальности ее достичь.

Существует два подхода к статистической значимости: частотный и байесовский.

В вузах, как правило, изучают частотный подход: нулевая гипотеза H0, альтернативная гипотеза H1, ошибки первого и второго родов, а на выходе – значение p-value. Чем оно меньше, тем лучше. Тем меньше вероятность ошибиться с результатами теста.

В последнее время все больше популярен байесовский подход. Он несколько иначе определяет и статистику, и вероятность (например, уже на