Андрей, спасибо большое за такое подробное видео, ещё и короткое. Никак не удавалось понять, что такое p-value и доверительный интервал, не усваивалась информация, а после вашего видео стало наконец понятно. Про прокси-метрики вообще не попадалась информация, очень круто объяснили!
Андрей, спасибо вам! И правда, простое и доступное объяснение (это я вам говорю как махровый гуманитарий, который пересмотрел кучу видео и прочёл несколько статей, но доходчиво объяснили только вы) :) спасибо!
Андрей, а кто в команде за какие активности отвечает? Например, продакт выдвигает гипотезу и определяет: что будем тестировать, какие метрики используем, что ожидаем и в какие сроки, достаточное количество трафика для проверки и т.д. А вот дальше: Кто выполняет техническую часть? Используется внешний инструмент или ...? Какая в данном процессе роль аналитика? Какие члены команды участвуют в обсуждении гипотез и конкретно этого теста? Про инструменты, полагаю нужно отдельное видео ))
Тот случай, когда кликнул по видео, чтобы узнать значение термина, но что-то пошло не так.... Мое скромное мнение - раз уж видео называется "простыми словами", то в начале неплохо бы дать определение , желательно "на пальцах"
Сколько по времени нужно проводить АBтестирование? Есть ли какие-то стандарты? Например не менее недели. Сколько минимально, если например заменили цвет кнопки.
4:50 Что-то я здесь эту логику не совсем понял: вот есть покупатели, которые приходят, покупают и на 7-й день возвращается определённый процент. Если мы просто увеличим траффик и будет больше покупателей, то их будет больше и на 7-й день, но в абсолютном значении, а в относительном процент будет примерно тот же, потому что значимых действий (например, какой-то новый сервис) с нашей стороны не было, чтобы люди возвращались чаще.
Нет - я говорил про то, что процент вернувшихся на 7 день кореллирует с процентом вернувшихся через один день и эта метрика больше и на неё проще таргетировать АБ тест
Привет, Андрей! Недавно начал смотреть твой канал, очень интересно и познавательно. У меня вопрос немного не по теме...если ты ведущий аналитик (айтишник), на удалёнке, с хорошей зп, зачем тебе заниматься ютубом? Это же наверняка занимает много времени и сил...сюжет, съемка, монтаж и тд. Это как хобби? Я без претензий, действительно интересно.
Привет! Рад, что канал полезен и добро пожаловать. На самом деле ютуб большая часть жизни. Занимаюсь по двум основным причинам: 1. Мне действительно нравится объяснять и доносить информацию. Я чувствую в этом большую пользу. Так первые пару лет канала на нем почти не было просмотров, но все равно я был рад, если это помогло 30-40 людям. 2. Это хороший дополнительный доход. Во первых за счет рекламы в видео, во вторых за счет интенсива, который я провожу по поиску работы за границей. Часть этого отбивает затраты на производство видео (студия, оператор, монтаж) Первая причина для меня важнее, чем вторая. То есть я бы не стал делать бесполезные видосы или липовые курсы. Просто люблю рассказывать, то что знаю.
Большое спасибо за такой развернутый ответ! Впервые общаюсь с автором канала на Ютубе, это здорово! Я никому раньше не писал)) Благодаря тебе и твоему каналу начал изучать SQL (для начала), очень интересно. Продолжай в том же духе!👍
Это зависит преимущественно от метрики и от сэмпл сайза. У меня в работе в основном я выбираю между двумя вариантами t-test и z-test. Вот неплохое объяснение про разные юз кейсы по ним bytepawn.com/ab-testing-and-the-ttest.html
Есть еще один способ - байесовские тесты. И там проблемы подглядывания, МДЕ - все это идет к черту. Очень советую почитать или поспрашивать чатгпт про это безобразие
Андрей, спасибо большое за такое подробное видео, ещё и короткое. Никак не удавалось понять, что такое p-value и доверительный интервал, не усваивалась информация, а после вашего видео стало наконец понятно. Про прокси-метрики вообще не попадалась информация, очень круто объяснили!
Классная подача - четко, по делу и с таким позитивом. Спасибо!😊
Уместить столько инфы в 10 минут, круто
Спасибо! Рад, что полезно!
Андрей, спасибо вам! И правда, простое и доступное объяснение (это я вам говорю как махровый гуманитарий, который пересмотрел кучу видео и прочёл несколько статей, но доходчиво объяснили только вы) :) спасибо!
Огромное спасибо зи информацию, понял что допускал ряд ошибок в своей работе, тема АБ тестов заиграла новыми красками))
Вот бы мастер-класс по всему процессу)) спасибо.
Очень полезно, информативно, без воды!
Рад, что видео полезно!
Спасибо за полезное видео!
А вот и новые знания подкатили :)
Пошел за яблочками к видео ^_^
Спасибо, Андрей!
Крутое, доступное и краткое обьяснение
Спасибо!
Спасибо за такой крутой контен🤘
Супер полезно и коротко о главном :) Спасибо!
Большое спасибо за интересный и содержательный выпуск.👍👍👍
Красавчик! Подписка
Андрей, а кто в команде за какие активности отвечает? Например, продакт выдвигает гипотезу и определяет: что будем тестировать, какие метрики используем, что ожидаем и в какие сроки, достаточное количество трафика для проверки и т.д. А вот дальше:
Кто выполняет техническую часть? Используется внешний инструмент или ...? Какая в данном процессе роль аналитика? Какие члены команды участвуют в обсуждении гипотез и конкретно этого теста?
Про инструменты, полагаю нужно отдельное видео ))
Видишь Андрея - лайк не глядя
Красава, быстро и понятно
Подписался. Офигенно.
И напишу еще 2 слова, чтобы алгоритмы ютуба засчитали этот комментарий.
Тот случай, когда кликнул по видео, чтобы узнать значение термина, но что-то пошло не так....
Мое скромное мнение - раз уж видео называется "простыми словами", то в начале неплохо бы дать определение , желательно "на пальцах"
Очень полезно!
Как насчёт А/А теста ?
И интересны методы по ускорению А/В тестов
Понятно что в 10 минутный формат не укладывается но все же.
Сниму про ускорение обязательно!
спасибо! надо бы про АА тест сказать и его необходимость перед АВ
Сколько по времени нужно проводить АBтестирование? Есть ли какие-то стандарты? Например не менее недели. Сколько минимально, если например заменили цвет кнопки.
Все зависит от размера выборки. Нужно проводить пока не наберется достаточная выборка для определения стат значимости
зависит от сезонности бизнеса. зачастую меньше недели смысла проводить нет, т.к. поведение пользователей в разные дни недели может отличаться
Сколько месяцев учиться языкам программирования, нужным для проведения в б теста в профессии аналитика?
А что посоветуете почитать по этой теме, чтобы легко проходить собеседования
Как стать респондент а/в тестов? как проходить тесты и зарабатывать ?
топ!!! автор выбрал язык фактов
4:50 Что-то я здесь эту логику не совсем понял: вот есть покупатели, которые приходят, покупают и на 7-й день возвращается определённый процент. Если мы просто увеличим траффик и будет больше покупателей, то их будет больше и на 7-й день, но в абсолютном значении, а в относительном процент будет примерно тот же, потому что значимых действий (например, какой-то новый сервис) с нашей стороны не было, чтобы люди возвращались чаще.
Нет - я говорил про то, что процент вернувшихся на 7 день кореллирует с процентом вернувшихся через один день и эта метрика больше и на неё проще таргетировать АБ тест
@@Noukash а, тогда недопонял изначально.
Подскажите, на каких платформах делать АБ для web и app тестов?
Привет, Андрей!
Недавно начал смотреть твой канал, очень интересно и познавательно. У меня вопрос немного не по теме...если ты ведущий аналитик (айтишник), на удалёнке, с хорошей зп, зачем тебе заниматься ютубом? Это же наверняка занимает много времени и сил...сюжет, съемка, монтаж и тд. Это как хобби? Я без претензий, действительно интересно.
Привет! Рад, что канал полезен и добро пожаловать. На самом деле ютуб большая часть жизни. Занимаюсь по двум основным причинам:
1. Мне действительно нравится объяснять и доносить информацию. Я чувствую в этом большую пользу. Так первые пару лет канала на нем почти не было просмотров, но все равно я был рад, если это помогло 30-40 людям.
2. Это хороший дополнительный доход. Во первых за счет рекламы в видео, во вторых за счет интенсива, который я провожу по поиску работы за границей. Часть этого отбивает затраты на производство видео (студия, оператор, монтаж)
Первая причина для меня важнее, чем вторая. То есть я бы не стал делать бесполезные видосы или липовые курсы. Просто люблю рассказывать, то что знаю.
Большое спасибо за такой развернутый ответ!
Впервые общаюсь с автором канала на Ютубе, это здорово! Я никому раньше не писал))
Благодаря тебе и твоему каналу начал изучать SQL (для начала), очень интересно. Продолжай в том же духе!👍
Спасибо! Удачи с обучением!
И что в итоге a/b тесты?
Спасибо большое за видео! А как чаще всего проверяется статистическая значимость: T-тест, Z-тест, U-тест?
Это зависит преимущественно от метрики и от сэмпл сайза. У меня в работе в основном я выбираю между двумя вариантами t-test и z-test. Вот неплохое объяснение про разные юз кейсы по ним
bytepawn.com/ab-testing-and-the-ttest.html
Кто-нибудь может разъяснить, что подразумевается в самом конце 4 пункта под небольшой базой в 1000?
Я имел в виду, что разница в конверсии может быть большой но на маленькой выборке она не статистически значима
Андрей, а почему кольцо на левой руке?😉
он что-то понял.
Спасибо за видео, а почему не проводят A/A/B тесты? Везде слышу, что так не делают, но почему так не делают, никто не говорит)
А зачем A/A/B тесты?) Почему не A/A/A/B?)
А что такое то A/B тестирование? И для чего оно нужно? С первых секунд уже ничего не понятно
Есть еще один способ - байесовские тесты. И там проблемы подглядывания, МДЕ - все это идет к черту. Очень советую почитать или поспрашивать чатгпт про это безобразие
А б тестирование простыми словами. Так че это вообще, в видео не говорится
Ваще ниче не поняла хдддд
шо за продукты аналитишь
Не хватило самых простых определений: p-value, etc.