A/B тестирование: подготовка, проведение, оценка результатов

Описание: Эксперт команды предиктивной аналитики - Александр Смирнов - о том, как правильно провести А/Б тест и обработать результаты. Тестовые данные доступны по ссылке: https://cloud.mail.ru/public/jqpB/BN2...

00:00 Цели и задачи A/B-тестирования
01:14 Кейс магазина плюшевых игрушек: из чего состоит гипотеза, определение метрики, генерация данных
05:50: Проверка гипотезы и альтернативная гипотеза
08:10 Статистический критерий
09:00 Уровень значимости для гипотезы
10:20 Критерий t-Стьюдента
15:30 Критерий: две выборки, дисперзии известны
16:09 Критерий: две выборки, дисперзии неизвестны
16:35 Критерий: нет нормальности, реальная ситуация
18:58 Как посчитать p-value
20:35 Связь нормального расределения и распределения Стьюдента
21:20 Критерий: определение основных величин
22:50 Практика: критерий для магазина
23:30 А/А-тесты
26:18 Магазин: АА-тест, если группы разбиты неверно
28:35 Магазин: анализ по когортам
30:32 Мобильная игра: гипотеза и описание пользователей
33:12 Мобильная игра: подготовка данных
33:03 Мобильная игра: подсчет метрик
38:00 Мобильная игра: подсчет метрик по дням теста
39:27 Мобильная игра: подсчет созревших метрик
41:00 Мобильная игра: эффект
42:45 Мобильная игра: длительность теста
45:50 Мобильная игра: подглядывание
47:45 Мобильная игра: AB/n-тесты
50:30 Заключение
53:24 Рекомендательная система Personalize
53:12 Полезный контент об А/B-тестировании

Узнайте больше об автоматизированном A/B-тестировании в рекомендательной системе Personalize: https://tracker.my.com/promo/personalize