Название: Анализ нескольких аспектов мобильного приложения
Стек:
Изучив имеющиеся данные мобильного приложения рассчитать показатель Retention, определить лучший набор акционных предложений по результатам A/B тестирования и предложить метрики для оценки результатов последнего прошедшего тематического события в игре, а также предположить изменится ли набор метрик при усложнении механики события.
- Произвёл считывание данных, провёл предварительный анализ и предобработку данных;
- Написал формулу расчёта Retention, а также функцию со множеством параметров и пояснения к ним, а также добавил визуализацию;
- По Api получил данные результатов последнего A/B тестирования;
- Проверил не оказались ли пользователи случайно в обеих группах;
- Посмотрел описательную статистику, а также распределения выручки по активным и платящим пользователям;
- Выбрал метрики(CR, ARPU) и написал их определение;
- Посчитал Conversion rate в каждой группе и нашёл процентную разницу между ними;
- Выбрал статистический тест(Хи-квадрат) и определил есть ли статистичеси значимое различие между группами;
- Посчитал Average revenue per user в каждой группе и нашёл процентную разницу между ними;
- Проверил распределения на нормальность и гомогенность;
- На основании полученных результатов выбрал статистически тест(Т-теста Стьюдента);
- Подвёл итоги по результатам тестов выбранных метрик, сделал выводы;
- Предложил метрики(ASD, Stickiness, Retention rate, Churn rate, Game Ready API), написал определения и пояснения;
- Сгенерировал несклолько своих метрик с определениями;
- Изложил свои мысли, как поменяются эти метрики, если усложнить механику прохождения.
- Написал сложную функцию с описанием и визуализацией для расчёта Retention формирующую когорты по множеству параметров:
- даты начала и окончания формирования когорт;
- размеры когорт по(дням, неделям, месяцам, кварталам, годам);
- временной интервал для расчета(день, неделя, месяц, год) и количество периодов;
- По итогам A/B тестирования выяснил:
- Конверсию в покупку контрольной группы выше на ~7.1%, результат статистически значим;
- ARPU тестовой группы выше на ~5.3 %, результат статистически не значим;
- Вывод: считаю, что набор акционных предложений для контрольной группы оказался лучше, хотя и есть некоторые сомнения по поводу корректности проведения A/B теста, а именно системы сплитования(предположение).
- Предложил метрики(ASD, Stickiness, Retention rate, Churn rate, Game Ready API), а также сгенерировал свои и написал определения с пояснениями. Предположил, что при усложнении механики событий, основной набор метрик не изменится, но некоторые узконаправленные метрики станут компонентами для новых метрик.
