Ваагн Минасян | Ускорение A/Б тестов линейными методами: сравнительный анализ

Описание: Ваагн Минасян, Lead Data Scientist at X5 Group
Ускорение A/Б тестов линейными методами: сравнительный анализ.

Задача ускорения А/Б тестов ( a.k.a. повышения чувствительности ) является одной из самых актуальных в индустрии. К наиболее удобным методами ускорения А/Б тестов, статистические свойства которых можно вывести аналитически, относятся линейная регрессия и методы на остатках, например, CUPED. Однако, некоторые реализации этих методов и, в частности, реализации CUPED'a, незаметно приводят к очень нежелательным последствиям - оценки получаются смещёнными, т.е. результаты A/Б теста искажаются и перестают отражать реальность на ограниченном количестве данных. В других же методах недоиспользуются возможности повышения чувствительности. Дабы предостеречь аналитика от неверных шагов, в данном видео мы разбираем эти случаи и проведём сравнительный анализ линейных методов повышения чувствительности, подкрепляя выводы симуляциями.

Материалы к докладу: https://drive.google.com/file/d/1rTB5...
Автор исследования подходов в А/Б тестировании:
https://papers.ssrn.com/sol3/papers.c...
https://github.com/MiVaVo/CUPED-vs-Li...

QNA сессию вы можете посмотреть в комментариях к посту:
https://t.me/mlinmarketing/133

ML in Marketing hub: https://ods.ai/hubs/ml-in-marketing
Канал Ml in Marketing: https://t.me/mlinmarketing/121

Соцсети Open Data Science:
https://t.me/datafest
https://t.me/ods_ru
https://vk.com/datafest

Регистрация на мероприятия соощества: https://ods.ai/events
Хабы сообщества: https://ods.ai/hubs