ไม่สามารถเล่นวิดีโอนี้
ขออภัยในความไม่สะดวก
Никита Маршалкин: A/B-тесты сложнее, чем кажется | Интервью | karpov.courses
ฝัง
- เผยแพร่เมื่อ 3 ส.ค. 2024
- Симулятор A/B-тестов: bit.ly/40uPpjt
У нас гостях Никита Маршалкин, Data Scientist Вконтакте. Мы обсудили, как устроены A/B-тесты в компании, а именно:
● как работают системы сплитования;
● работают ли обычные статистические тесты на Big Data и какие подводные камни там есть;
● особенности A/B-тестов в социальных сетях;
● где научиться мастерски проводить A/B-тестирование.
А/Б-тесты, подборка от Никиты:
1. Бомбическая книжка: experimentguide.com
2. Кладезь информации про А/Б в индустрии: exp-platform.com
3. Practitioner’s Guide to Statistical Tests: / practitioners-guide-to...
4. Пуассоновский бутстрап и бакетизация: research.google/pubs/pub43157/
5. Эксперименты в соцсетях: arxiv.org/abs/1404.7530
6. Заметки с саммита по экспериментам на KDD’19: research. publications/...
7. Туториал по построению оптимизации в b2c продуктах: onlineuserengagement.github.io/
Учитесь Data Science с нами: karpov.courses/
00:00 Что такое A/B-тесты
03:02 Системы сплитования
12:55 Экосистема A/B-тестов ВКонтакте
16:50 Тонкости тестирования на проде
18:55 Проверка гипотез на Big Data
23:25 Bootstrap
27:34 A/B-тесты без A/B-тестов
30:10 Ухудшающие A/B-тесты
31:55 Можно ли принимать решения без A/B-тестов ?
33:38 Кто те люди, которые занимаются A/B-тестами?
34:55 Материалы и знания, которых нигде нет!
Кто из курса основы статистики? 👋
Мне кажется больше половины. У меня с Толиных курсов начался карьерный трек в анализ данных
Я
Огонь интервью - очень интересно и структурированно рассказали! Всё чётко, без воды, и с примерами.
Толя, если этот канал не взлетит, я разочаруюсь в аналитиках 😁
Сейчас все будет!)
Какие же вы офигенные и ПОНЯТНЫЕ! Обожаю)
Проклятый мир который мы сами и создали - специалист по DS изучает что лучше: сердечко или палец вверх.
так живо и интересно. Спасибо за выпуск!
очень крутое интервью, получила ответы на все свои вопросы относительно того "а как в индустрии" ) спасибо 🙏
Спасибо за интересное видео и ценнейшие ссылки! Буду изучать)
Ребята, классно рассказываете! Спасибо! Очень четко и структурировано !
Интересный материал, спасибо за видео!
Анатолий, Никита, спасибо, очень круто! И книжку почитаю, тоже начинаю тонуть в статьях)
Очень крутой контент. Спасибо ребята. Было бы ещё интересно послушать как происходит взаимодействие с разработчиками во время A/B тестирования. Понимаю, что канал больше с аналитическим уклоном, но ведь в организации и проведении исследовательской работы участвует много людей и это накладывает дополнительные сложности.
Спасибо, было очень интересно послушать.
Спасибо за видео!
Спасибо, мега полезно. За линки отдельный респект, ребята.
Бесподобное интервью! 37 минут бесконечно полезной информации. Подача на высоте - простыми словами о сложном. Спасибо!
Полезно, интересно. Большое спасибо)
Отличное интервью🍄🍒
хитрый ход по продвижению ролика) размещение ссылки на него на степике)) лайк!
Ну а почему нет? Инфа то полезная и из первых рук по сути
Спасибо огромное! Очень интересное интервью!
Спасибо, было интересно!
Не знал про пуасонновский бутстрап, клевый трюк, спасибо вам :)
На нашем канале и не такое узнаете! Привет Артем! :)
Очень тонкий момент про подглядывание. Про него точно стоит почитать/поговорить отдельно
профессионал поясняет за вещи, кайф
Зрители дайте книгу на скачивание или на покупку. Зрители пожалуйста 😫🙏🙏💓
сравнение линеечкой - это про Эвклидово расстояние и DTW (в случае временных рядов)?
бомба
Всего 7 мес обучения на курсах и понял, в принципе, всё, о чём они говорят))
Сначала все было понятно, а потом "бутстреп на спарке", и я такая "чтооо" (п.с. я с курса статистики)
Ничего не понятно, но очень интересно)
А Если серьезно, то очень круто! Огромное спасибо! Гость шикарен, про Анатолия вообще даже говорить не буду, все супер) Мне как новичку, было достаточно понятно, кроме понятия Bootstrap и еще одной аббревиатуры, которая "глобальный чет там") но как бы никто мне мешает загуглить) подписался и буду смотреть другие видосы.
глобальный CTR!
@@karpovcourses он самый)
По началу не узнал Анатолия😂😂😂 В видео курса - классический ботан. В ролике ... совсем другой образ...
о по вэб-аналитике есть видосы? Или, может быть, будут?..
Будут! Следите за анонсами!
Можно ссылку на статью о методах в А/Б тестах?
Большое спасибо за ролик! Подскажите, пожалуйста, когда будут ссылки на упомянутые в ролике материалы? Заранее благодарю.
@@mikhailgerasimov2199
АБ тесты подборка от Никиты Маршалкина
1. Бомбическая книжка: experimentguide.com
2. Кладезь информации про А/Б в индустрии: exp-platform.com
3. Practitioner’s Guide to Statistical Tests: medium.com/@vktech/practition...
4. Пуассоновский бутстрап и бакетизация: research.google/pubs/pub43157/
5. Эксперименты в соцсетях: arxiv.org/abs/1404.7530
6. Заметки с саммита по экспериментам на KDD’19: research.fb.com/publications/...
7. Туториал по построению оптимизации в b2c продуктах: onlineuserengagement.github.io/
@@karpovcourses ссылка по номеру (3) умерла. Есть ли возможность её оживить?
@@vasiliidovedov3675 вы о Practitioner’s Guide to Statistical Tests?
Проверил, открывается
@@karpovcourses Подскажите пож-та, помимо 1-й книги, Анатолий упомянул, что от этих ребят имеется плейлист с видео, можете поделиться?
Что мешает проводить тесты независимых гипотез только на двух группах, когда пользователей мало? В перекрытии все равно будет часть таких пользователей. Ну или группы можно случайным образом набирать из одних и тех же людей.
Не совсем понятно, как бутстрэп поменять на глобальном CR. Если мы сравниваем всего две группы пользователей, то будет два соотношения клики к просмотрам в одной и клики к просмотрам в другой. Что там бутстрэпить?
Подскажите пжл: у меня контроль и тест(менеджер - продажи, по 57 менеджеров в каждой выборке), распределенные ненормальное. Правильно ли я понимаю, что у меня 2 пути проверки стат. значимости:
1) Смотреть абсолютные значения продаж и тогда использовать Манна-Уитни
2) Смотреть среднее значение продаж по каждой из групп и тогда можно использовать Т-критерий?
Вопрос возникает по второму пути: Т-критерий требует подсчета среднего квадратичного отклонения. Однако, распределение ненормальное. Значит и считать среднее квадратичное отклонение будет не уместно?
Даже если распр ненорм, то применить т-тест можно, просто могут возникнуть нежелательные спецэффекты, но считать при этом нужно все по той же оригинальной формуле без изменений.
В вашем случае можно сделать:
1) Понять насколько сильно распределение отклоняется от нормального, если отклонение несильное, то можно спокойно применять т-тест
2) Трансформировать распределение, то есть привести к нормальному и затем применить т-тест
+ как вариант еще можно использовать бутстрап
@@TheJosebaxter спасибо за ответ!
У меня что-то ближе к Пуссоновскому распределению, если на глаз смотреть.
Проверял критерий нормальности для выборки - распределение ненормально:(
Бутстреп хочу попробовать как раз в ближайшее время.
@@andreykozik253 и что вы в итоге сделали?)
@@bokshalex сейчас уже не особо помню, но вроде бы бутстрепом
27:38
Что значит для t-теста не нужна нормальность данных, а нужна нормальность среднего ? У нас в предпосылках должно выполняться именно нормальность распределения данных. Нормальность среднего - это если мы генерируем много выборок новых и смотрим на то, как оно распределено. Можно пояснить этот момент, пожалуйста
Как-то много о процессе и очень мало о сути. Видимо поэтому Никита уже не работает в VK :)
1. Не сказано о необходимости измерять прокси метрики - как изменения, внедренные по итогам A/B тестов могут негативно повлиять на метрики других фич.
2. Не сказано о необходимости рассчитывать размер сэмпла и продолжительность теста.
3. Не сказано о необходимости оценки вероятности того, что полученные статистические данные валидны (P-Value, A/A тест и т.п.)
Посоветуете что-то конкретное и понятное?
А почему не применяются байесовские тесты на практике?
На самом деле применяются. towardsdatascience.com/bayesian-a-b-testing-and-its-benefits-a7bbe5cb5103
Я одно только не пойму, кто все эти люди, которые добавляют друзей ВК))Я уже много лет никого не добавляю, я думала большинство так))
.
бесит только "то, что", никак не могут привыкнуть, ЧТО молодежь теперь так говорит(((
Что говорит?)
@@karpovcourses , "подумал ТО, что", "увидел ТО, что", "узнал ТО, что" вместо
"подумал, что"; "увидел, что"; "узнал, что".. Непонятно, когда это началось и почему.. невозможно от этого абстрагироваться, смотришь же и вникаешь в смысл, а вот это все время сбивает))) Понятно. что что это мой бзик, но вот так))
@@01sver4OK понятно!