Пожалуйста запиши видео как ты проводишь АБ тест, чтобы было понятнее как применяется формула выборки и вообще весь процесс. Пожалуйста пожалуйста пожалуйста
Второй лайк за понятное объяснение формулы расчета размера выборки. Обычно то, что гуглится, в большинстве случаев похоже скорее на формулу вызова дьявола, чем на то, чем будешь пользоваться в работе
Да - при этом гуглятся РАЗНЫЕ формулы - это вообще подстава - если не знаешь что искать то найдешь несколько разных формул)). Я постарался простыми словами объяснить что внутри к чему. Рад, что полезно!
Спасибо Андрей! Очень подробно и содержательно. Полиночке, особое спасибо за прекрасное оформление видео. Ребята видно, что у Вас жизнь налаживается во всех отношениях, особенно в рабочих моментах. Профи уровень растёт и это здорово. Так держать! Удачи!
Круто! Самое понятное и доходчивое объяснение всего процесса, от и до, не перегруженное теорией и формулами, грамотно разбавленное примерами и аналогиями! Спасибо большое
Спасибо большое за комментарий! Я старался сделать понятно, объяснить все простыми словами и одновременно достаточно глубоко чтобы было понимание, что откуда берется. Рад, что получилось!
Боже, первый человек, который нормально написал формулу размера выборки и объяснил ее, везде какая-то жесть написана или вообще тупо ссылка на калькулятор Да и в целом офигенный видос, который объясняет все адекватно по пунктам, спасибо огромное!
На 19:14 написано b - вероятность обнаружения эффекта если он существует. На самом деле вероятность обнаружения эффекта если он существует - это мощность и она 1-b. b - вероятность ошибки 2 рода, т.е. не увидеть разницы когда она есть.
Поддержу других комментаторов - огромное спасибо!) Прочитал с десяток статей и посмотрел еще больше видео по аб-тестам, но только тут наконец-то есть простые и короткие формулы с пояснениями, а не выжимки из учебников по матану (а в разных источниках еще и разные формулы 😂), отдельная благодарность за пример про MDE, в последней статье которую читал, рекомендовали Монте-Карло всегда использовать 😅 Лайк поставил, видео в закладки сохранил, чувствую еще не раз буду пересматривать (при очередном запуске аб-теста) ❤
Большое спасибо за видео! На русском ютубе на удивление огромная куча воды по Аналитике данных. Возможно, стоит сделать обновленный гайд по всем прикладным штукам и реальным кейсам в работе аналитика (разбора реальных задач почти нет)
Привет, спасибо за крутой разбор! Все понравилось, единственное для меня - сложно было осознать до конца все используемые в видео формулы, как будто стоило им уделить чуууть больше времени и объяснить чуть проще) Для меня как для практикующего продакта не совсем ясно, как и для чего их использовать. Самые проблемные - формулы расчет выборки и оценка p-value. Такое ощущение, что на практике можно отбросить формулы и пользоваться калькуляторами Evan Miller и Neil Patel, я верно тебя поняла?)) А порядок и логика в голове сложились такие: 1. Формируем гипотезу и готовим варианты. Убеждаемся, что нулевая гипотеза верна. 2. Определяем размер выборки через калькулятор на основе гипотезы и уровня доверия к результату. 3. Запускаем тест и даем ему пройти полностью. 4. Убеждаемся, что p-value нас устраивает (до 3%). Больше всего вопросов тут и совсем не понятно, как его посчитать более автоматически. 5. Рассчитываем доверительный интервал через калькулятор. Есть ли статистически значимая разница? 6. Ищем дополнительные инсайты. 7. Принимаем решения об изменениях в продукте.
Привет! Рад, что видео полезно! Да - я хотел уместить все самое важное в 40 минут поэтому конкретным формулам досталось меньше внимания) В общем и целом можно пользоваться калькуляторами - единственное пара моментов 1. То что нулевая гипотеза верна это наше предположение которое мы можем опровергнуть или не опровергнуть в результате теста 4. Evan miller calculator в помощь также А в остальном +- по шагам все правильно - обязательно уделить внимания достаточно метрикам - какие метрики будете мерить и какие важны
Спасибо за видео. Я пытаюсь самообучиться аналитике немного и конечно больше половины видео для меня совершенно не понятно. Наверное, оно для тех кто уже в аналитике так или иначе.
Как тебе идея для видео про pet-проекты для аналитика, на просторах интернета нет особо информации, а темка то интересная и полезная. Понятное дело для разработчиков, они пишут софт (фронт/бэк). А что в этой теме можно сделать аналитику?
теория - это конечно хорошо, но если бы эти 40 минут ты разбирал и комментировал практический пример - это было бы куда более полезно. в любом случае благодарю!
По наполнению видео очень похоже на бесплатный курс по AB-тестам одной небезызвестной компании, но в то же время - это условная шпаргалка. Обязательно буду пересматривать перед собеседованиями. Спасибо большое за такой качественный контент❤ Также у меня есть вопрос: Насколько вообще целесообразно учить формулы матстата, по типу дисперсии, p-value, доверительных интервалов и т.д для различных тестов? Часто ли это спрашивают на собеседованиях? В моем понимании это не самая полезная вещь, потому что, если ты знаешь, как это работает, тебе не составит труда это загуглить, и получится даже надежнее, чем когда ты держишь все это в голове
Главное понимать смысл формул, почему получается их применять и какие есть ограничения в тестировании. Знать все формулы 1 в 1 не обязательно и невозможно
Андрей, спасибо за очень крутой гайд! У меня возникли сомнения по поводу формулы расчета выборки. Я сейчас прохожу курс по А/В тестированию, и там дают такую же формулу оценки размера одной группы, но используют не std^2, a 2*std^2, так как мы должны брать в учёт стандартное отклонение обеих групп std_x^2 + std_y^2 = 2*std^2, так как на исторических данных стандартные отклонения контрольной и тестовой групп равны. На синтетических данных А/А и А/В тесты показывают, что с 2*std^2 ошибки первого и второго рода контролируются на заданном уровне.
Я бы сказал зависит от величины и известна ли или нужно аппроксимировать дисперсию. Есть способы вроде CUPED чтобы наоборот снижать размер выборки за счет исторических данных и в т.ч того чтобы убрать шум из результатов и снизить дисперсию результатов
Спасибо, доверительный интервал ценности этого видео 100%! Скажи пожалуйста, чтобы юзать ремоут конфиг его же все равно надо загрузить в новую версию аппы и получается мы все равно выкатываем новую версию перед АВ? Или если не обновляем аппу, то там какие-то ограничения для конфига, типо можно поменять текст и картинку на пейволе, но дизайн пейвола и цены нельзя. Потому что я разрабам говорил что новая версия не нужна, но они говорят что без нее не обойтись)
Какие книги можете посоветовать по аналитике данных, бизнес-аналитике, продуктовой аналитике, статистике, АБ - тестированию, визуализации, метрикам для аналитиков, принимать решение на основе аналитики?
Здравствуйте, Андрей! Спасибо за видео. Хочу устроиться в IT, чтобы получить знания и опыт и затем открыть свой бизнес (не обязательно именно в IT сфере). Для этого выбрал профессию аналитика, подумал, что владение данными это основа бизнеса. Но аналитиков много: бизнес-аналитик, системный аналитик, data scientist, продуктовый аналитик, маркетинговый и пр. Вы не подскажете, что актуальнее всего было бы для моей цели?
Выбирайте стезю продуктового аналитика. Это самые близкие к реальному бизнесу ребята. Научитесь считать рентабельность, разные полезные метрики, находить инсайты, точки для роста, слабые места, четко формулировать и ставить цели для своего будущего бизнеса. Если бизнес будет в высоконкурентной сфере, то будет не лишним освоить маркетинговую аналитику - это про эффективное взаимодействие с аудиторией, как на нее влиять (ARPU, ARPPU, CPC...). Бизнес аналитик должен знать BPNM - его основная роль как у компилятора в языке программирования: переводить запрос бизнес заказчика на язык понятный программистам. Бизнес аналитик должен уметь качественно вести диалог как с заказчиком так и с бэкендом. Тут меньше всего требуется непосредственное владение разными техническими инструментами, но необходимо хорошее понимание процессов разработки и владение терминологией. Системный аналитик, напротив, должен хорошо знать железо. Это человек, который оценивает текущую инфраструктуру компании и дает рекомендации с заделом на будущее по ее развитию. Тут надо шарить про инновации в железе и сервисах, разницу между колоночными и строчными БД ну и тд. Дата сайнтист - это про обучение моделей. В реальном бизнесе на себя вряд ли оправдает отношение потраченные ресурсы/выхлоп. По типам характера я делю аналитиков так (все очень условно): продуктовый - холерик с общительностью выше среднего маркетинговый - холерик с общительностью выше среднего бизнес - сангвиник с максимальной общительностью системный - флегматик с нормальной общительностью датасайнтист - флегматик/ меланхолик с УСИДЧИВОСТЬЮ, общитительность ниже среднего
Интересное видео, но возник тупой вопрос: А зачем нужны отдельные инструменты для a\b тестов, когда есть Python и R? Я не аналитик данных, но статистический анализ провожу. Все приведенные тесты я могу проводить в R. Единственная фича отдельных инструментов для a\b тестов, как я понял, в том, что бы результаты тестов сразу подгрузить в продукт.
Нужно технически как то сплитовать пользователей - показывать им разные варианты, удаленно менять параметры, запускать и останавливать тест. Я про это и говорю, что статистический анализ можно сделать ручками, но нужна платформа для управления самим тестом)
Добавлю еще, что это может быть нужно для 1) продакт менеджеров и маркетологов - им тоже может быть нужно тестить несложные гипотезы (условный цвет кнопок) + инструментарий для принятия данных когда не нужно разбираться с формулами или кодом на питоне (это не всегда хорошо, и лучше проводить все с аналитиком, но бывает по разному) 2) Если нужно запускать и проводить много однотипных аб-тестов - это банально быстрее и удобнее 3) Так легче поддерживать консистентность тестов - всегда будет применен один подход к тесту 4) Получение данных для рассвета метрик (на примере вариокуба из Яндекса) - не все данные можно получить в сыром виде, а такое решение может быстро обсчитать нужную метрику Ну и то, что сказал Андрей - инструмент как сплитовалка, которая будет всегда корректно делить трафик на группы. Но у них много ограничений, естественно, поэтому большие компании обычно имеют либо свой инструмент, либо самоличные системы.
я через 5 минут уже спать захотел.. Можно сразу по делу, а ползать в каких то частных случаях из ниоткуда в никуда.. ? 5й класс учебника по физике в помощь.. Дано, найти, решение... и не придется по 15 минут языком воду толочь.. А то получается фиг знает что делаем, фиг знает какими методами, и фиг знает что получаем на выходе... человек сидит с этими метриками как дурачок с фантиками играется и сам не знает чего вообще от них хочет...
что то на 17 мин. я уже приуныла. как то не очень понятно - чувствуется что на практике не распробовано, просто теория из сети озвученная голосом. понятно одно - что на нальном этапе все это не имеет смысла
Это все теория наложенная на практический опыт) Я АБ тестов за свою карьеру запускал и оценивал сотни. Если вам непонятно - можно пересмотреть несколько раз или попозже на свежую голову - ну или предметно задать вопрос)
![Shareปลาวาฬ ส่งท้าย SS1 พาเปียโน ขึ้น Ferrari ก่อนไปขาย แลก Nissan l [Nickynachat]](http://i.ytimg.com/vi/KAknGkTNIvg/mqdefault.jpg)
Пожалуйста запиши видео как ты проводишь АБ тест, чтобы было понятнее как применяется формула выборки и вообще весь процесс. Пожалуйста пожалуйста пожалуйста
С твоего канала начался мой путь в аналитике 1,5 года назад. Хоть я уже и работаю в аналитике но видосы все равно смотрю, они топ. Спасибо за контент)
как успешно?
Второй лайк за понятное объяснение формулы расчета размера выборки. Обычно то, что гуглится, в большинстве случаев похоже скорее на формулу вызова дьявола, чем на то, чем будешь пользоваться в работе
Да - при этом гуглятся РАЗНЫЕ формулы - это вообще подстава - если не знаешь что искать то найдешь несколько разных формул)). Я постарался простыми словами объяснить что внутри к чему. Рад, что полезно!
спасибо!!! реально не зря потратила 47 минут) прям более лаконичного и простого объяснения, как это происходит в реальной работе, не встречала)
Супер! Я очень рад, что видео полезно! Чем сложнее топик, тем сложнее объяснить его "просто" и я рад, что у меня получилось!
Спасибо Андрей! Очень подробно и содержательно. Полиночке, особое спасибо за прекрасное оформление видео. Ребята видно, что у Вас жизнь налаживается во всех отношениях, особенно в рабочих моментах. Профи уровень растёт и это здорово. Так держать! Удачи!
Спасибо большое за комментарий! Полине передал! Жизнь кипит :)) Работаем! Очень приятная обратная связь - еще раз спасибо
Крутая тема, спасибо. Еще не прсмотрел, но начало нравится
Круто! Самое понятное и доходчивое объяснение всего процесса, от и до, не перегруженное теорией и формулами, грамотно разбавленное примерами и аналогиями! Спасибо большое
Спасибо большое за комментарий! Я старался сделать понятно, объяснить все простыми словами и одновременно достаточно глубоко чтобы было понимание, что откуда берется. Рад, что получилось!
Лайк сразу за тему, посмотрю чуть позже
Поступлю так же
Про центральную предельную теорему хотелось бы подробнее. Видео супер
Согласен, пример сложен к восприятию
Андрей, спасибо большое за обучающие видосы ❤ такая информация в видео формате на вес золота))
Балдеж видос! Скину команде чтобы тоже в теме были))
Супер! Если будут вопросы - пишите!
О, круто. А то я написал в резюме, что уже не только исполнял, но и дизайнил это.😂
невозможно "исполнять" АВ тест без дизайна)
Спасибо за видео! Очень внятное и понятное объяснение! Красава!
О! Спасибо, Андрей! Это супер полезный гайд!)
Жаль не было примеров с каким-то датасетом, чтобы на его примере рассчитать
Интересно ещё про историю с ratio-метриками, как их преобразовывать, может быть, тянет на отдельное видео
Могу ответить одним словом: линеаризация🙃На хабре лежит парочка интересных статей, как с такими метриками работать
Большое спасибо!!! Кратко и по делу 👍
Боже, первый человек, который нормально написал формулу размера выборки и объяснил ее, везде какая-то жесть написана или вообще тупо ссылка на калькулятор
Да и в целом офигенный видос, который объясняет все адекватно по пунктам, спасибо огромное!
Спасибо! Рад что зашло!
Андрей, спасибо за хорошее видео! Получился идеальный дайджест для погружения в тему 🤝
На 19:14 написано b - вероятность обнаружения эффекта если он существует. На самом деле вероятность обнаружения эффекта если он существует - это мощность и она 1-b. b - вероятность ошибки 2 рода, т.е. не увидеть разницы когда она есть.
Да - я говорил про статистическую мощность - бета величина обратная мощности. Очепятка
Актуальная тема, всегда актуальная
Поддержу других комментаторов - огромное спасибо!)
Прочитал с десяток статей и посмотрел еще больше видео по аб-тестам, но только тут наконец-то есть простые и короткие формулы с пояснениями, а не выжимки из учебников по матану (а в разных источниках еще и разные формулы 😂), отдельная благодарность за пример про MDE, в последней статье которую читал, рекомендовали Монте-Карло всегда использовать 😅
Лайк поставил, видео в закладки сохранил, чувствую еще не раз буду пересматривать (при очередном запуске аб-теста) ❤
Спасибо большое за комментарий! Я так рад, что видео полезно и все понятно. Супер!
Спс братишка, завтра гляну. Будем внедрять, а то аж стыдно как-то.
Супер супер супер - пиши если будут вопросы. Тема сложная, но базу освоить нетрудно
Спасибо, Андрей! А можно разобрать какое-нибудь тестовое задание, которое высылают в ответ на резюме при приёме на работу?
Большое спасибо за видео! На русском ютубе на удивление огромная куча воды по Аналитике данных. Возможно, стоит сделать обновленный гайд по всем прикладным штукам и реальным кейсам в работе аналитика (разбора реальных задач почти нет)
Спасибо большое!
Привет, спасибо за крутой разбор!
Все понравилось, единственное для меня - сложно было осознать до конца все используемые в видео формулы, как будто стоило им уделить чуууть больше времени и объяснить чуть проще)
Для меня как для практикующего продакта не совсем ясно, как и для чего их использовать. Самые проблемные - формулы расчет выборки и оценка p-value. Такое ощущение, что на практике можно отбросить формулы и пользоваться калькуляторами Evan Miller и Neil Patel, я верно тебя поняла?))
А порядок и логика в голове сложились такие:
1. Формируем гипотезу и готовим варианты. Убеждаемся, что нулевая гипотеза верна.
2. Определяем размер выборки через калькулятор на основе гипотезы и уровня доверия к результату.
3. Запускаем тест и даем ему пройти полностью.
4. Убеждаемся, что p-value нас устраивает (до 3%). Больше всего вопросов тут и совсем не понятно, как его посчитать более автоматически.
5. Рассчитываем доверительный интервал через калькулятор. Есть ли статистически значимая разница?
6. Ищем дополнительные инсайты.
7. Принимаем решения об изменениях в продукте.
Привет! Рад, что видео полезно! Да - я хотел уместить все самое важное в 40 минут поэтому конкретным формулам досталось меньше внимания) В общем и целом можно пользоваться калькуляторами - единственное пара моментов
1. То что нулевая гипотеза верна это наше предположение которое мы можем опровергнуть или не опровергнуть в результате теста
4. Evan miller calculator в помощь также
А в остальном +- по шагам все правильно - обязательно уделить внимания достаточно метрикам - какие метрики будете мерить и какие важны
Спасибо за видео. Я пытаюсь самообучиться аналитике немного и конечно больше половины видео для меня совершенно не понятно. Наверное, оно для тех кто уже в аналитике так или иначе.
Как тебе идея для видео про pet-проекты для аналитика, на просторах интернета нет особо информации, а темка то интересная и полезная. Понятное дело для разработчиков, они пишут софт (фронт/бэк). А что в этой теме можно сделать аналитику?
@@user-yv3ol6fr2v прогноз погоды! (Не шутка). Но по-любому придется осваивать фронт и немного бэк, если хочешь упаковать это в виде сайтика
Идея хорошая, но мне лень самому делать примеры для видео - будет побольше времени сделаю!
@@Noukash блинб, лень ужасная штука, у самого такая болезнь (
теория - это конечно хорошо, но если бы эти 40 минут ты разбирал и комментировал практический пример - это было бы куда более полезно. в любом случае благодарю!
По наполнению видео очень похоже на бесплатный курс по AB-тестам одной небезызвестной компании, но в то же время - это условная шпаргалка. Обязательно буду пересматривать перед собеседованиями. Спасибо большое за такой качественный контент❤
Также у меня есть вопрос: Насколько вообще целесообразно учить формулы матстата, по типу дисперсии, p-value, доверительных интервалов и т.д для различных тестов? Часто ли это спрашивают на собеседованиях?
В моем понимании это не самая полезная вещь, потому что, если ты знаешь, как это работает, тебе не составит труда это загуглить, и получится даже надежнее, чем когда ты держишь все это в голове
Главное понимать смысл формул, почему получается их применять и какие есть ограничения в тестировании. Знать все формулы 1 в 1 не обязательно и невозможно
Андрей, спасибо за очень крутой гайд! У меня возникли сомнения по поводу формулы расчета выборки. Я сейчас прохожу курс по А/В тестированию, и там дают такую же формулу оценки размера одной группы, но используют не std^2, a 2*std^2, так как мы должны брать в учёт стандартное отклонение обеих групп std_x^2 + std_y^2 = 2*std^2, так как на исторических данных стандартные отклонения контрольной и тестовой групп равны. На синтетических данных А/А и А/В тесты показывают, что с 2*std^2 ошибки первого и второго рода контролируются на заданном уровне.
Я бы сказал зависит от величины и известна ли или нужно аппроксимировать дисперсию. Есть способы вроде CUPED чтобы наоборот снижать размер выборки за счет исторических данных и в т.ч того чтобы убрать шум из результатов и снизить дисперсию результатов
Спасибо, доверительный интервал ценности этого видео 100%!
Скажи пожалуйста, чтобы юзать ремоут конфиг его же все равно надо загрузить в новую версию аппы и получается мы все равно выкатываем новую версию перед АВ? Или если не обновляем аппу, то там какие-то ограничения для конфига, типо можно поменять текст и картинку на пейволе, но дизайн пейвола и цены нельзя. Потому что я разрабам говорил что новая версия не нужна, но они говорят что без нее не обойтись)
Привет, про сэмпл сайз можно пример плз. Обычно бутстрепом на АА размер можно эффективно оценить
Почему вы такой грамотный и мотивированный на результат с женой.Я бы первые 40 к долларов заработал и уволился бездельничать.
Очень люблю учится и применять знания :) Ну и сейчас я живу в дорогом месте - тут 40к долларов это не так много
@@Noukash это здорово. Я даже как сис админ, слабо понимаю терминологию в видео. Но пока подписался, мотивируюсь по чуть чуть.
Какме курсы можешь посоветовать по AB тесты?
Меня часто спрашивают, знаю ли я AB тесты
Какие книги можете посоветовать по аналитике данных, бизнес-аналитике, продуктовой аналитике, статистике, АБ - тестированию, визуализации, метрикам для аналитиков, принимать решение на основе аналитики?
сложнооооо:(( эти формулы меня пугают
Здравствуйте, Андрей! Спасибо за видео. Хочу устроиться в IT, чтобы получить знания и опыт и затем открыть свой бизнес (не обязательно именно в IT сфере). Для этого выбрал профессию аналитика, подумал, что владение данными это основа бизнеса. Но аналитиков много: бизнес-аналитик, системный аналитик, data scientist, продуктовый аналитик, маркетинговый и пр. Вы не подскажете, что актуальнее всего было бы для моей цели?
Выбирайте стезю продуктового аналитика. Это самые близкие к реальному бизнесу ребята. Научитесь считать рентабельность, разные полезные метрики, находить инсайты, точки для роста, слабые места, четко формулировать и ставить цели для своего будущего бизнеса. Если бизнес будет в высоконкурентной сфере, то будет не лишним освоить маркетинговую аналитику - это про эффективное взаимодействие с аудиторией, как на нее влиять (ARPU, ARPPU, CPC...). Бизнес аналитик должен знать BPNM - его основная роль как у компилятора в языке программирования: переводить запрос бизнес заказчика на язык понятный программистам. Бизнес аналитик должен уметь качественно вести диалог как с заказчиком так и с бэкендом. Тут меньше всего требуется непосредственное владение разными техническими инструментами, но необходимо хорошее понимание процессов разработки и владение терминологией. Системный аналитик, напротив, должен хорошо знать железо. Это человек, который оценивает текущую инфраструктуру компании и дает рекомендации с заделом на будущее по ее развитию. Тут надо шарить про инновации в железе и сервисах, разницу между колоночными и строчными БД ну и тд. Дата сайнтист - это про обучение моделей. В реальном бизнесе на себя вряд ли оправдает отношение потраченные ресурсы/выхлоп.
По типам характера я делю аналитиков так (все очень условно):
продуктовый - холерик с общительностью выше среднего
маркетинговый - холерик с общительностью выше среднего
бизнес - сангвиник с максимальной общительностью
системный - флегматик с нормальной общительностью
датасайнтист - флегматик/ меланхолик с УСИДЧИВОСТЬЮ, общитительность ниже среднего
@@shutka80 спасибо огромное! Супер-полезный комментарий
глулый вопрос: у меня есть группа клиентов, у них конверсия в покупку 6%. как определить дисперсию этой величины?
Загугли про дисперсию распределения Бернулли - p(1-p) = 0.06*0.94
автор, а это универсально для РФ СНГ и западного ИТ?
Это универсально для любого IT
как успехи с meta ?
Как ты провёл свой первый A/B тест?
Интересное видео, но возник тупой вопрос: А зачем нужны отдельные инструменты для a\b тестов, когда есть Python и R? Я не аналитик данных, но статистический анализ провожу. Все приведенные тесты я могу проводить в R. Единственная фича отдельных инструментов для a\b тестов, как я понял, в том, что бы результаты тестов сразу подгрузить в продукт.
Нужно технически как то сплитовать пользователей - показывать им разные варианты, удаленно менять параметры, запускать и останавливать тест. Я про это и говорю, что статистический анализ можно сделать ручками, но нужна платформа для управления самим тестом)
Добавлю еще, что это может быть нужно для
1) продакт менеджеров и маркетологов - им тоже может быть нужно тестить несложные гипотезы (условный цвет кнопок) + инструментарий для принятия данных когда не нужно разбираться с формулами или кодом на питоне (это не всегда хорошо, и лучше проводить все с аналитиком, но бывает по разному)
2) Если нужно запускать и проводить много однотипных аб-тестов - это банально быстрее и удобнее
3) Так легче поддерживать консистентность тестов - всегда будет применен один подход к тесту
4) Получение данных для рассвета метрик (на примере вариокуба из Яндекса) - не все данные можно получить в сыром виде, а такое решение может быстро обсчитать нужную метрику
Ну и то, что сказал Андрей - инструмент как сплитовалка, которая будет всегда корректно делить трафик на группы.
Но у них много ограничений, естественно, поэтому большие компании обычно имеют либо свой инструмент, либо самоличные системы.
Удивительное рядом, но оно запрещено)))
Непонятно про ЦПТ
ты это от себя говоришь? или продюсер))
я через 5 минут уже спать захотел.. Можно сразу по делу, а ползать в каких то частных случаях из ниоткуда в никуда.. ? 5й класс учебника по физике в помощь.. Дано, найти, решение... и не придется по 15 минут языком воду толочь.. А то получается фиг знает что делаем, фиг знает какими методами, и фиг знает что получаем на выходе... человек сидит с этими метриками как дурачок с фантиками играется и сам не знает чего вообще от них хочет...
Тяжело включать голову - бывает
что то на 17 мин. я уже приуныла. как то не очень понятно - чувствуется что на практике не распробовано, просто теория из сети озвученная голосом.
понятно одно - что на нальном этапе все это не имеет смысла
Это все теория наложенная на практический опыт) Я АБ тестов за свою карьеру запускал и оценивал сотни. Если вам непонятно - можно пересмотреть несколько раз или попозже на свежую голову - ну или предметно задать вопрос)
как успехи с meta ?
Жду последнего этапа!
@@Noukash держим кулачки!