P-values: как посчитать достоверность вашего исследования | Виктор Петухов
ฝัง
- เผยแพร่เมื่อ 6 ก.ย. 2024
- Слайды: slides.com/vpe...
P-values используются повсеместно как доказательство научности того или иного утверждения. За последние 40 лет было опубликовано множество статей, призывающих изменить научные практики и отказаться от проверки гипотез в том виде, в котором она есть сейчас. Более того, смысл, вкладываемый в p-values Рональдом Фишером, популяризовшим их в начале прошлого века, сильно отличался от современной интерпретации. Тем не менее, до сих пор каждый день публикуются статьи, 99% математики в которых состоит из бездумной проверки длинного списка статистических гипотез.
Комментарий от лектора:
«На 17:42 я говорю "P-value - это вообще не вероятность". Это было оговоркой, и формально утверждение неверное. Там должно быть "P-value - это вообще не вероятность ошибки". По факту, P-value - это всё ещё вероятность, точнее, вероятность получить такие же или большие отклонения при условии гипотезы H0 (см. 3:53).»
это не верно. Стыдно в этом плавать, кто пишет от имени института?
@@IgorDataScience И почему это неверно?
@@debiloid26 у пивалуе есть определение и это не оно. Лектор наверное не знает его?
Подскажите пожалуйста, почему у мышей вес 200 гр? Средняя мышь весит 15-25 гр.
11:42 когда мы говорим беременна, а она не беременна это FP. Когда говорим не беременна, а она беременна - это FN.
На 11:49 (с FP\FN) у картинки, и у автора разное принятие "positive" исхода :)
Вопрос к лектору: как выглядела бы правильная модель в его примере с весом мышей? Как мы должны были бы доложить эти данные в идеальном, пост-p-value мире?
@Viktor Petukhov на слайде, про слабости p-value, часть претензий неверна.
1) P-value можно агрегировать, есть специальные методы для этого.
2) Гипотезы можно делать сколько угодно сложные, но вам нужно знать распределение для них (а байесе вам еще приор нужно знать).
3) Вероятности посчитать нельзя, но и в байесе вероятности вы вычисляете на основе априора, который в некоторой степени произволен.
4) информацию о силе эффекта можно зашить в H0, опять же, есть вариант того же t-test.
5) Ну и претензии про mistakenly и easy to fool - это проблемы не p-value, а людей. В байесе также легко налажать.
Ну и машинное обучение - это часть статистики. Это мнение и статистиков, и апологетов машинного обучения. Таких как Бишоп, Фридман и Гудфеллоу.
@Viktor Petukhov И немного "бумагомарательства":
1) Нет, говорить что мы принимаем H1 является ошибкой
2) вероятность ошибки первого рода мы задаем alpha. P-value тут сбоку