10 вопросов про A/B-тесты | Часть 2 | Валерий Бабушкин | karpov.courses
ฝัง
- เผยแพร่เมื่อ 12 พ.ค. 2023
- Симулятор A/B-тестов: bit.ly/3AQf0bw
Первая часть: • 10 вопросов про A/B-те...
Всегда ли для проверки гипотезы необходимо использовать A/B-тест? Можно ли сравнивать попарно несколько разных категорий пользователей? Какие есть подходы к повышению чувствительности A/B-тестов?
На эти и ещё более узконаправленные вопросы, которые вы задавали Валерию Бабушкину, ответим сегодня во второй части «10 вопросов»
Ну что за манера не озвучивать вопросы, показали на экране и всё - тем более видос разговорный, люди не сидят перед экраном не отрываясь любуясь лицом Валеры. Просьба в следующих видосах вопросы озвучивать
Почему это не сидят?!
Я вот и сидел, и в монитор смотрел и даже буковы читалъ
Все появления Валеры должны сопровождаться таким музыкальным вступлением
Спасибо большое, крутое видео, есть над чем подумать. Мне как начинающему спецу все тонкости АБ тестирования еще не ясны
Валера всегда говорит с каким то Витей, правда Вить? )
Круто, как обычно!
Еще бы хотелось на эти вопросы ответ узнать:
Всегда говорят что нужно учесть сезонность, но она же действует на А и В аудиторию, тогда зачем?
Может ли негативный эффект от А/В теста проявиться не сразу (2-4 недели) если приняли не верное или верное решение?
Допустим А лучше Б в будние дни, но Б лучше А в выходные
Если провести только в выходные тест он выдаст результаты отличные от проведенного только в будние
@@ValeriiBabushkin Спасибо! получается это больше проблема сплит системы? ведь если у нас пользователи хорошо стратифицированы, то и сезонность не должна влиять
@@BoQbL1k нет, это не проблема сплит системы, это вопрос репрезентативности. Если проводите а/б тест в специфичный период то и его результаты можно переносить только на специфичный период. Например а/б тест связанный с мороженым зимой и летом может дать разные результаты
Если правильно понял, когда выборки а/б будут репрезентативны, тогда и сезонность не должна влиять? Но а за репрезентативность у нас ведь может сплит система отвечать, иначе зачем она вообще тогда )
@@BoQbL1k сплит система отвечает за то, что две выборки репрезентативны относительно друг друга и то какую часть от общего пула юзера они представляют. За время она не отвечает
На восьмом вопросе Валерий видимо забыл про permutation test и навалил кринжа про матчинг, в остальном приемлемо.
Как поможет permutation тест в данном случае ?
Советую ознакомиться с выступлением Gary King, "Why Propensity Scores Should Not Be Used for Matching"
th-cam.com/video/rBv39pK1iEs/w-d-xo.html
В этом выступлении есть очень интересный слайд, в котором утверждается что если мы проводим Fully Blocked А/В эксперимент, то это снижает стандартную ошибку оценки эффекта на 600%
@@ValeriiBabushkin Валерий, большое спасибо за ссылку, обязательно ознакомлюсь. Прошу прощения за резкий комментарий, я пытался шутить :) Безусловно снижение дисперсии это наверное самое лучшее решение этой проблемы, а permutation test выглядит как вариант решения поставленного вопроса когда наблюдений действительно очень мало.
@@2korzhik Папка домой вернулся, и ты сразу заднюю дал. Чепуха!
К третьему вопросу, читал, что в случае А/А/Б теста (если в тесте несколько тестовых групп), пропорционально больший размер контрольной группы может дать большую мощность, чем в случае равных размеров групп research-repository.st-andrews.ac.uk/bitstream/handle/10023/26073/Neuh_user_2021_Unequal_sample_sizes_Ethology_AAM.pdf