Воркшоп “A/B testing” | Валерий Бабушкин
ฝัง
- เผยแพร่เมื่อ 11 ก.ค. 2021
- А/Б-тестирование в режиме реального времени - сегодня на #GoViralCA2021 - мастер-класс с Валерием Бабушкиным.
⠀
💡Что такое - А/Б-тесты?
⠀
Представьте, что у нас есть что-то новое. Алгоритм продаж, взаимодействие сотрудников. Как узнать, решает ли это наши задачи?
⠀
Если есть метрика, нужно уметь ее измерять.
⠀
❌ Как делать нельзя?
⠀
Смотрим, что было до внедрения чего-то. Что было после. Сравниваем. Вычитаем. Так делать плохо.
⠀
Почему? Возможно влияние каких-то совершенно внешних факторов.
⠀
✅ Как делать можно?
⠀
Делим данные на две группы. Максимально одинаковые. В одной группе вводим изменения - затем сравниваем.
⠀
👉 Помним про ошибки первого и второго рода. Когда мы делаем А/Б-тест, мы смотрим, есть ли эффект. Ошибка первого рода - признание, что эффект есть. Второго - что эффекта нет.
⠀
👉 Чем больше размер выборки, тем больше вероятность не допустить ошибок при прочих равных.
⠀
👉 Размер эффекта. Чем меньше эффекта мы хотим «поймать», тем сложнее это сделать.
⠀
Программируем. Отвечаем на вопросы. Размышляем.
![Yoshi Rinrada - 'มาทำไม' [Official MV]](http://i.ytimg.com/vi/r41xbfRLkLs/mqdefault.jpg)
Валерий в рф наверно самый топ спикер по а/б. Слушать всегда интересно)
Валерий подобный доклад уже делал не раз, но по-прежнему смотреть интересно и полезно.
Очень информативно! Большое спасибо.
Очень понятно!
Валерий всех покорил своей харизмой и умом, вот люди и растерялись не давали обратную связь ))) особенно девушки, хаха :)
В целом, спасибо за лекцию, все очень конкретно и просто объяснено, без терменологических усложнений
Грустно, что на этом воркшопе были незаинтересованные люди и Валерию никто не давал обратную связь. Он так огорчался по этому поводу, обидно смотреть:(
Тот случай, когда искал ответы на вопросы в нете, но натыкался на академические статьи, а здесь, бум, и всё как на ладони, и искомая библиотека, и статьи в хабре, и разжеванная методология.
Башушкин, вы конечно простите, но вы своей формулой и решением очень запутати. Правильная формула: N = p * (1-p) * (Z^2) / (E^2), и именно Z, а не "a" как вы говорили и запутали называя доверительный интервал альфой
Лайк!) жалко, что мало рассказал про casualimpact, вещь вроде простая но на практике там надо данные набрать, советуют вообще рядов 15 для обучения (x1-x15), которые имеют корреляцию с Y, но на них не происходит изменение от тритмента, в отличие от Y ряда, а так же там не особо рассмотрена проблема, как с несколькими пересекающимися изменениями работать, хотелось бы отдельную презентацию с кейсами реальными с использованием этой библиотеки)
1:10:23 Жесть какая
Валерий крут!
1:10:23 "сколько стоит сломать человеку ноги"
во, сразу видно, человек смотрел ролик полностью)
А почему Валерий для определения размера выборки для проверки _гипотез_ (где используется ошибка 1 рода, ошибка 2 рода и размер эффекта, который надо обнаружить) использует формулу, по которой определяют минимальный размер выборки для построения 95% _доверительного интервала оценки пропорции_ (где используется только ошибка 1 рода и размер эффекта, который надо обнаружить)? В А/В тестировании именно гипотезы проверяют же...
Проверку гипотез можно свести к построению доверительных интервалов
@@ldred_ Без учёта мощности?
уже долго не могу разобраться с тем, почему по формуле, показанной Валерой, выборка получается намного меньше, чем в онлайн-калькуляторах. И нормально ли будет использовать показанную Валерой формулу для подсчёта объёма выборки, раз она занижает величину?
@@user-pd1ku2gs7y все зависит от того какие гарантии вам нужны - лучший способ разобраться - отработать на синтетических данных и оценить разницу
33:00 - 40:00 - провал в структуре доклада. как-то резко перешли к описанию обучению\валидации\прогнозированию, хотя никакой подводки к этому не было
34я минута - ясно понятно шо генератор псевдосл чисел свой шум за нужную нам картину выдаёт…
Не понятно ято за цифры и откуда они берутся. Что за о0,96, откуда взялись 0,36, почему умножаем 0,1* 0 9. почему бы не дать ссылку на ноутбук и не объяснить что делает. дальше смотреть нет смысла
аудитория мертвая))