A/B ТЕСТИРОВАНИЕ простыми словами. Как провести АБ тест правильно?
ฝัง
- เผยแพร่เมื่อ 3 ส.ค. 2024
- Как правильно организовать процесс A/B тестирования? Разбираем по шагам - как правильно проводить АБ тест от начала и до конца. И если вы ни разу не проводили ab тесты и сейчас вам дали такую задачу, это видео специально для вас.
Другие полезные видео:
Все о продуктовых гипотезах: • ПРОДУКТОВЫЕ ГИПОТЕЗЫ п...
A/b тестирование (1 часть): • A/B ТЕСТИРОВАНИЕ: Поче...
Как рассчитать продуктовые метрики: • ПРОДУКТ в IT. Как расс...
Статистика для аналитики: • Зачем нужна СТАТИСТИКА...
Как SQL и PYTHON используют в аналитике данных? • Как SQL и PYTHON испол...
Калькулятор для расчета выборки: www.evanmiller.org/ab-testing...
Калькулятор p-value: www.evanmiller.org/ab-testing...
Таймкоды:
00:00 - А нужен ли вам А/Б тест?
01:19 - Формулируем гипотезу и определяем ключевую метрику
02:53 - Рассчитываем размер выборки
05:40 - Запускаем AB тест! И ждем его окончания
07:28 - Изменение значимое? Считаем p-value
08:13 - Рассчитываем доверительный интервал
08:32 - Смотрим прокси-метрики
_____________________
Меня зовут Андрей - я работаю продуктовым аналитиком в немецком IT-стартапе и на этом канале (Noukash) я рассказываю про карьеру в IT и продуктовую аналитику. Будут разборы профессий, советы по обучению, истории и многое другое. Подписывайся и оставляй комментарии)
Записывайся на мой интенсив по поиску работы заграницей: noukash.com/
🇺🇸 Учить английский с носителем (со скидкой 10$): www.italki.com/affshare?ref=a...
Instagram*: / noukash
Telegram: t.me/noukashblog
Чат для общения: t.me/noukash_it
*Meta признана экстремистской организацией и запрещена на территории России...
Уместить столько инфы в 10 минут, круто
Спасибо! Рад, что полезно!
Большое спасибо за интересный и содержательный выпуск.👍👍👍
Вот бы мастер-класс по всему процессу)) спасибо.
Классная подача - четко, по делу и с таким позитивом. Спасибо!😊
Супер полезно и коротко о главном :) Спасибо!
Андрей, спасибо вам! И правда, простое и доступное объяснение (это я вам говорю как махровый гуманитарий, который пересмотрел кучу видео и прочёл несколько статей, но доходчиво объяснили только вы) :) спасибо!
Спасибо за такой крутой контен🤘
Спасибо, Андрей!
Спасибо за полезное видео!
А вот и новые знания подкатили :)
Пошел за яблочками к видео ^_^
Очень полезно, информативно, без воды!
Рад, что видео полезно!
Огромное спасибо зи информацию, понял что допускал ряд ошибок в своей работе, тема АБ тестов заиграла новыми красками))
Подписался. Офигенно.
И напишу еще 2 слова, чтобы алгоритмы ютуба засчитали этот комментарий.
Красавчик! Подписка
Красава, быстро и понятно
Андрей, а кто в команде за какие активности отвечает? Например, продакт выдвигает гипотезу и определяет: что будем тестировать, какие метрики используем, что ожидаем и в какие сроки, достаточное количество трафика для проверки и т.д. А вот дальше:
Кто выполняет техническую часть? Используется внешний инструмент или ...? Какая в данном процессе роль аналитика? Какие члены команды участвуют в обсуждении гипотез и конкретно этого теста?
Про инструменты, полагаю нужно отдельное видео ))
Очень полезно!
Видишь Андрея - лайк не глядя
спасибо! надо бы про АА тест сказать и его необходимость перед АВ
Тот случай, когда кликнул по видео, чтобы узнать значение термина, но что-то пошло не так....
Мое скромное мнение - раз уж видео называется "простыми словами", то в начале неплохо бы дать определение , желательно "на пальцах"
топ!!! автор выбрал язык фактов
А что посоветуете почитать по этой теме, чтобы легко проходить собеседования
Как стать респондент а/в тестов? как проходить тесты и зарабатывать ?
Как насчёт А/А теста ?
И интересны методы по ускорению А/В тестов
Понятно что в 10 минутный формат не укладывается но все же.
Сниму про ускорение обязательно!
Подскажите, на каких платформах делать АБ для web и app тестов?
Привет, Андрей!
Недавно начал смотреть твой канал, очень интересно и познавательно. У меня вопрос немного не по теме...если ты ведущий аналитик (айтишник), на удалёнке, с хорошей зп, зачем тебе заниматься ютубом? Это же наверняка занимает много времени и сил...сюжет, съемка, монтаж и тд. Это как хобби? Я без претензий, действительно интересно.
Привет! Рад, что канал полезен и добро пожаловать. На самом деле ютуб большая часть жизни. Занимаюсь по двум основным причинам:
1. Мне действительно нравится объяснять и доносить информацию. Я чувствую в этом большую пользу. Так первые пару лет канала на нем почти не было просмотров, но все равно я был рад, если это помогло 30-40 людям.
2. Это хороший дополнительный доход. Во первых за счет рекламы в видео, во вторых за счет интенсива, который я провожу по поиску работы за границей. Часть этого отбивает затраты на производство видео (студия, оператор, монтаж)
Первая причина для меня важнее, чем вторая. То есть я бы не стал делать бесполезные видосы или липовые курсы. Просто люблю рассказывать, то что знаю.
Большое спасибо за такой развернутый ответ!
Впервые общаюсь с автором канала на Ютубе, это здорово! Я никому раньше не писал))
Благодаря тебе и твоему каналу начал изучать SQL (для начала), очень интересно. Продолжай в том же духе!👍
Спасибо! Удачи с обучением!
Спасибо большое за видео! А как чаще всего проверяется статистическая значимость: T-тест, Z-тест, U-тест?
Это зависит преимущественно от метрики и от сэмпл сайза. У меня в работе в основном я выбираю между двумя вариантами t-test и z-test. Вот неплохое объяснение про разные юз кейсы по ним
bytepawn.com/ab-testing-and-the-ttest.html
Сколько месяцев учиться языкам программирования, нужным для проведения в б теста в профессии аналитика?
Спасибо за видео, а почему не проводят A/A/B тесты? Везде слышу, что так не делают, но почему так не делают, никто не говорит)
А зачем A/A/B тесты?) Почему не A/A/A/B?)
Сколько по времени нужно проводить АBтестирование? Есть ли какие-то стандарты? Например не менее недели. Сколько минимально, если например заменили цвет кнопки.
Все зависит от размера выборки. Нужно проводить пока не наберется достаточная выборка для определения стат значимости
зависит от сезонности бизнеса. зачастую меньше недели смысла проводить нет, т.к. поведение пользователей в разные дни недели может отличаться
Кто-нибудь может разъяснить, что подразумевается в самом конце 4 пункта под небольшой базой в 1000?
Я имел в виду, что разница в конверсии может быть большой но на маленькой выборке она не статистически значима
4:50 Что-то я здесь эту логику не совсем понял: вот есть покупатели, которые приходят, покупают и на 7-й день возвращается определённый процент. Если мы просто увеличим траффик и будет больше покупателей, то их будет больше и на 7-й день, но в абсолютном значении, а в относительном процент будет примерно тот же, потому что значимых действий (например, какой-то новый сервис) с нашей стороны не было, чтобы люди возвращались чаще.
Нет - я говорил про то, что процент вернувшихся на 7 день кореллирует с процентом вернувшихся через один день и эта метрика больше и на неё проще таргетировать АБ тест
@@Noukash а, тогда недопонял изначально.
Есть еще один способ - байесовские тесты. И там проблемы подглядывания, МДЕ - все это идет к черту. Очень советую почитать или поспрашивать чатгпт про это безобразие
И что в итоге a/b тесты?
Андрей, а почему кольцо на левой руке?😉
он что-то понял.
А что такое то A/B тестирование? И для чего оно нужно? С первых секунд уже ничего не понятно
А б тестирование простыми словами. Так че это вообще, в видео не говорится
Ваще ниче не поняла хдддд
шо за продукты аналитишь
Не хватило самых простых определений: p-value, etc.