Как бороться с сетевыми эффектами в экспериментах? Диванная аналитика #8

Описание: Диванная аналитика — это место, где аналитики Авито делятся своим опытом. От написания стратегии до технических подробностей создания продукта.

В восьмом выпуске Миша Пирожков, аналитик из команды маркетинга, рассказывает:
Как работают региональные тесты и как устроен наш текущий инструмент для анализа — RegAB.
Почему мы решили его прокачать и что именно усовершенствовали.
Как проверяли результаты и к каким выводам пришли на реальных кейсах.

Таймкоды:
00:00 Начало
00:17 Тема доклада
00:22 Немного о Мише
01:10 План доклада
1:46 Зачем нужен RegAB и как он устроен
1:49 Рассмотрим несколько кейсов
4:35 Идея решения и как тут помогает региональный тест
6:46 Про старый алгоритм региональных тестов RegAB
11:10 Почему решили улучшить текущий инструмент
11:23 Почему старый инструмент не всегда нам помогал
12:32 Новый алгоритм RegAB 2.0
12:35 Декомпозиция задачи
13:35 Собираем данные по гео пользователей
14:50 Разбиваем регионы РФ на кластеры
16:05 Определяем, какие регионы попадают в тестовую и контрольную группу
19:16 Что получили на текущий момент
19:44 Собираем датасет для эксперимента
21:48 Применяем критерий
27:20 Что получаем на выходе
28:10 Как убрать сезонность
29:06 Валидация и результаты
29:10 Сравнение прошлой и новой версии
29:55 Проводим искусственный A/B-тест с эффектом в 5%
31:53 Результаты и выводы

Канал аналитиков: https://t.me/+ZUWAJc1OHkVkMjEy
Узнать о команде аналитиков Авито: https://career.avito.com/directions/a...

AvitoTech — это команда инженеров Авито. Подпишитесь на наш канал, соцсети и блоги, чтобы узнавать больше о технологиях Авито 👇🏻
ВК: https://vk.com/avitotech
Телеграм: https://clc.to/-YHGlg
Хабр: https://habr.com/ru/company/avito
Гитхаб: https://github.com/avito-tech
RuTube: https://rutube.ru/channel/30462632/
Дзен: https://dzen.ru/avitotech
Сайт: https://clc.to/l5ZqRA