Je propose un système/ un standard imparfait mais améliorant je pense: avoir un organisme d'enregistrement a priori des expériences statistiques. Le principe: avant de réaliser la moindre expérience statistique, un scientifique devrait enregistrer son test FUTUR via un organisme centralisé, fournissant qq détails comme la taille de l’échantillon, le critère jugé, le tout serait précisément daté etc... L’intérêt pour lui? Il pourrait ensuite, en cas de publication arborer ou non ce label "j'avais parié avant", qu'il ne tiendrait qu'à nous d'honorer fortement. Est ce que ça va le forcer à enregistrer ces essais foirés? non mais s'il en réussit un et qu'il ne s'est pas enregistré avant alors il ne pourra pas arborer le label sur sa publication, ça lui donne l'incentive de s'enregistrer. Ne serait-ce pas suffisant pour lui d'attendre d'avoir un truc qui marche pour ensuite s'enregistrer et le refaire? si ça serait suffisant mais tout l’intérêt est la, ça le force à être son propre replicateur, ça le force à vérifier lui même la reproductibilité de ses expériences. Si la communauté scientifique a su imposer un tel standard comme la p-value, il me semble tres simple qu'elle puisse imposer un autre standard de ce genre, et donner un tres gros credit au publication arborant ce label "j'avais parié avant". Il y a qq details techniques à penser, comme forcer de donner une date prevus pour le test limitant ainsi la duré de validité du "ticket" enregistré etc... au final il n'y aurait pas trop le choix, jouer le jeu, ne pas le jouer, ou tricher mais ca devrait etre une tricherie clairement volontaire, un mensonge (ce qui enleve beaucoup d'autres biais). Et ca permet aussi de faire pas mal de statistique sur les gens qui jouent le jeu.
On pourrait même rajouter un ratio sur le label "j'vais parié avant" selon le nombre de prédictions émises avant l'expérience et le niveau de confirmation. Par exemple, un statisticien effectuant son analyse sur un échantillon de 2k personnes en double aveugle devrait être plus méritante qu'un collègue restituant un résultat sur 3k sondées pour la même expérience. A mon humble avis ...
Idée très intéressante! Cela dit, comment s'assurer que le scientifique n'enregistre pas son test après l'avoir réalisé? Est-ce que la barrière psychologique de "triche" devient suffisante? Si l'on pense que non, l'organisme en question pourrait aussi vérifier aléatoirement certains tests, cad vérifier qu'ils sont effectivement réalisés pendant la période annoncée (et au passage vérifier une partie des résultats?).
@@flavienhirsch1635 "Est-ce que la barrière psychologique de "triche" devient suffisante?" Ca c'est ce que je disais à la fin, en fait ca retire au moins la partie des biais involontaires. Le cherry picking c'est souvent involontaire: on met au point l'experience et on s’arrête quand ca marche. Parfois a raison, ie on est vraiment en train de régler un truc, parfois à tord: en fait on change rien et on s’arrête sans le savoir au moment ou on a de la chance. On est aussi pas mal biaisé d'un point de vue "mémoire" on va avoir l'illusion d'avoir réussi 10 fois et échoué 3 alors qu'en pratique on aurait fait 30 échecs (qu'on aurait decide de pas vraiment compte que des vraies tentatives) et 4 réussites (qui bizarrement dans notre tete deviendront des tests tout a fait valables. indépendants etc...). En adoptant ce protocol d'enregistrement, on va rectifier d'une part le dernier aspect, par ce que le fait de s'enregistrer va "réveiller" la personne et lui faire bien prendre acte qu'elle est en train de faire un test. Et on enleve aussi le biais involontaire, ou au moins un garde un historique de preuve pointant le fait que ca puisse être un simple hasard. Au final oui on peut pas lutter contre la triche, mais la part malveillante est minoritaire.
@@PasseScience Ça permet de régler le problème des biais involontaires (du moins ces biais-là) en effet! Pour les tests qui se sont arrêtés en cours de route (raisons éthiques ou autre) au moins on le saurait en comparant l'enregistrement au test réel, et les auteurs devraient bien le justifier. La question suivante devient donc: y a-t-il dans certains cas de bonnes raisons de ne *pas* prévoir à l'avance les détails du test? Est-ce qu'enregistrer les tests pourrait inciter à se priver d'études utiles qui auraient été faites autrement? (Je n'ai pas d'exemple qui me vient immédiatement en tout cas, et puis on pourrait rétorque que si certaines variables sont dynamiques on pourrait quand même enregistrer ce qui est fixe, et expliquer ce qui doit rester dynamique et ce à quoi on s'attend)
petite précision quand à l'éthique sur les essais cliniques - quand on soupçonne un médicament potentiellement dangereux par un de ses effets secondaires, générallement on fait un test en double aveugle où le promoteur de l'étude peut décider d'arrêter l'étude si il voit trop d'effets négatifs chez les sujets, mais il y a aussi une autre méthode. On peut faire un test avec un triple aveugle (le promoteur ignore qui est dans le groupe placebo ou non), et du coup on peut décider à mi chemin de voir les effets secondaires de chaque groupe lorsqu'on est à mi chemin et décider de lever l'aveugle pour le promoteur pour voir si on poursuit l'étude ou non. L'avantage avec e modèle c'est que si dans l'étude aucune maladie grave n'apparait, on peut décider également de conserver l'aveugle et de rester en triple aveugle jusque la fin de l'étude. - Pour les maladies graves on ne compare jamais un médicament avec un placebo mais un médicament avec l'ancien médicament sur le marché. L'avantage est de ne pas entrainer de perte de chance pour le groupe placebo. Le risque étant de rejeter des médicaments efficaces parce qu'ils sont moins efficaces que le traitement standard. Toutefois comme ça ne concerne que la recherche sur les maladies graves on peut se dire que ça reste une bonne chose, la recherche étant orienté vers l'amélioration des traitements, ne perdant pas de temps avec des traitements moins efficaces.
Super intéressant et agréable encore une fois ! Pour les jeunes scientifiques en herbe, tu nous apprends à garder un esprit critique sur la recherche et sur ce que l'on fait dans les labos ! Ça fait plaisir de voir les youtubers faire avancer l'esprit critique et le tout dans le plaisir et la bonne humeur. Merci !!
Je trouve cette vidéo, et cette série actuelle absolument géniale et nécessaire. Avoir une réflexion profonde sur les limites de la science, de ses méthodes, de l'analyse de données, me semble capital pour faire vraiment progresser la science et les méthodes scientifiques. Ce que tu fais devrait être enseigné aux doctorants et à tout le corps des métiers scientifiques.
Concernant l'Impact Factor, il ne reflète pas uniquement la qualité du journal, mais principalement son influence. Les journaux très spécialisés ayant un public beaucoup moins large, cela réduit leur Impact Factor sans forcément signifier des articles de mauvaise qualité. Encore une excellente vidéo, merci beaucoup !
"En fait, ça m'exaspère même au plus haut point d'entendre parfois certains dire que la méthode scientifique d'aujourd'hui est la moins pire des méthodes. Cela me semble être une absence d'autocritique, un excès de confiance et un raisonnement motivé indigne d'intellectuels qui prétendent vouloir connaitre au mieux le monde qui les entoure." Hihi Lê tire à balles réels .... et ça fait du bien. Enfin ! Merci beaucoup, ça fait plaisir de l'entendre dire.
Wow... Lê a jugé ma question digne d'intérêt *me blushing* (Je croyais que la réponse serait "ba... tu peux lire le Chap10 du bouquin de Larry Wasserman")
Cette image à 13:00 est LE TRUC le plus IMPORTANT selon moi ! On comprend très très bien le biais hyper important !! "Selon 2 études très très sérieuse, blablabla". Oui mais les 28 autres ? Elles n'ont pas été publié car pas impressionant. Mais les études impressionantes, sont justement impressionantes parce qu'elles se sont très probablement trompé ! Ce biais est énorme !!
super travail et vidéo, félicitation. énorme . enfin de la conscience des travers et excès et manques et inconsciences des humains dans la science vu à travers et dans une methode , la p-value , en l'occurrence.
"Dès qu'une mesure imparfaite deviens un objectif, elle cesse d'être une bonne mesure." C'est tellement vrai et applicable partout, et en particulier en économie avec le PIB et la croissance.
Il me semble que 1,3, 4 et 5 sont exactement le meme probleme, c'est a dire la multiplication des experiences et la publication de celles qui ont marche par hasard. Ce n'est donc pas la p value qui pose probleme, mais bien la non publication des etudes n'ayant pas marche. Tout ca peut se resumer en deux mots : cherry picking. Et je ne voie pas tres bien comment les Bayesiens pourront ne pas faire encore pire vis a vis de ce probleme.
Je suis d'accord. Ces problemes sont tous de la famille des biais de publications. Mais ceux ci ne sont pas spécifiques a la p-valeur. J'ajoute qu'ils se résolvent facilement grâce a la reproduction des études, qui est un passage obligé de la science moderne. Il est bien connu qu'une etude toute seule non reproduite ne constitue pas un resultat fiable. Il juste avoir conscience de çà.
@@thierrymastrosimone5408 La "reproduction des études" n'est pas si facile. D'abord, il faut en avoir les moyens, puis, il faut disposer des mêmes données. Si les données sont la propriété de celui qui a fait l'étude, pourquoi comme il a été dit dans la science climatique, "je vous donnerai mes données pour que vous puissiez détruire mon travail ?". Et il ne faut pas plus faire confiance à 2 études faites par 2 équipes différentes avec des données différentes qui aboutissent aux mêmes résultats : il peut s'agit ici aussi d'un biais, où une étude cherche le soutien de l'autre...
@@poiu17472 Hello. Quand on parle de reproduction, c'est de reproduction des conclusions d'une etudes par un autre laboratoire, qui va *refaire* les memes experiences, pour justement verifier que ce qu'il observe lui permet d'arriver a la meme conclusion que le laboratoire initial. C'est donc ce que vous dites dans votre 2e phrase. La crise de la reproductibilite (fr.wikipedia.org/wiki/Crise_de_la_reproductibilit%C3%A9) montre que ce mecanisme permet de faire bien plus confiance a une etude reproduite qu'a une etude non reproduite.
Oui merci c'est bien ce qui me semblait. Le 5 me semble un peu différent tout de même, puisqu'en + on y transforme sans l'assumer une étude prospective en rétrospective.
Génial le coup des études sur le racisme des arbitres ! Comme d'habitude, je comprends pas tout à la vidéo mais je mets un pouce bleu car la petite partie que j'arrive à suivre m'enthousiasme.
Oui une hypothèse vrai va être rejetée un certain nombre de fois mais sur toute une littérature on aura tout de même de nombreuses études qui ne la rejetteront pas. Et puis il y a maintenant des outils méta-analytiques qui permettent de plus où moins faire de confirmer ou rejeter une hypothèse (méta-analyses qui se retrouvent de plus en plus dans des sciences telles que l'économie).
J'avoue trouver moi-même l'argument de Lé bizarre. Il suffit juste de comparer la fréquence des taux de résultats valides. Cependant combiner avec le 3, ça devient un bon argument.
Sinon tous les autres points de critiques me semblent très pertinents. Et certain sont bien résumés par cette phrase que j'ai trouvé dans une méta-analyse: “We all know from introspection that when we study an empirical question, we analyse the data till we are satisfied with the result. Reported results are thus the product of a stopping rule. We all want to believe that we stop when we have reached some approximation to the truth. However, what we believe to be the approximate truth is influenced by our priors.” Doucouliagos, H., & Paldam, M. (2009). The aid effectiveness literature: The sad results of 40 years of research.
Ne serait-ce pas car nos cerveaux ne seraient pas conçus pour élaborer donnés après donnés un modèle du monde qui nous entoure mais plutôt de tester un modèle préexistant ? En clair nous avons une vision déjà tt faite du monde mais nous mettons cette vision constamment à l'épreuve à coup de nouvelles données
Bonjour Lê, Encore bravo pour cette vidéo ! Juste une remarque à propos du risque (alpha) d’un test. Alpha est un majorant du risque de rejeter H0 à tort. Et quand tu rejettes H0, tu es certain que le risque d’erreur est inférieur ou égal à alpha. De plus, dans les cas des tests styles Student, Corrélation,… où H0 est une hypothèse simple, il est difficile de croire que H0 est fausse (l’égalité parfaite n’existe pas dans le monde réel). Donc risque d'erreur nul quand on rejette H0. Vois-tu ce que je veux dire ?
Dans la recherche biomédicale existent des recommandations régulièrement mises à jour pour les différents types d’essais afin justement de contrôler au mieux les biais cités. Consort, starc, stard, remark... etc. Avec le temps la méthodologie des essais sur pubmed s’améliore même si ce n’est pas parfait encore. Je me permets de rajouter cet élément car parfois j’ai l’impression d’une diabolisation de la « méthode scientifique ». Ceci dit grâce à tes vidéos la prochaine génération de chercheurs sera plus vigilante à ces recommandations... enfin pour peu qu’il y ait encore des chercheurs dans 30 ans... autre débat
Vidéo super intéressante ! Concernant les personnes qui disent "La méthode scientifique d'aujourd'hui est la moins pire des méthodes", je pense qu'il faut comprendre "La méthode scientifique d'aujourd'hui est la moins pire des méthodes par rapport aux autres "méthodes" utilisées (mis à part le bayésianisme bien sûr :) ), notamment dans les pseudosciences", et non "La méthode scientifique d'aujourd'hui est la moins pire des méthodes possibles". A mon avis, la majorité de ces personnes sont d'accord sur le fait que la méthode scientifique est loin d'être parfaite et qu'elle est largement améliorable, elles signalent juste que cela reste de manière générale bien mieux que les discours pseudoscientifiques. Et il y a quand même pas mal de critères de la méthode scientifique qui ont été fructueux au cours de l'histoire : l'inférence à la meilleure explication, la cohérence entre nos connaissances, la simplicité, l'unification...
Très intéressant ! J'ajouterais que la p-value, aussi étrange que ça puisse paraître ne fait pas office de "valeur" en soit mis à part qu'elle nous autorise ou non à rejeter l'hypothèse nulle. Aussi il est assez courant de voir des gens s'exclamer après l'obtention d'un résultat significatif et ils oublient assez facilement d'ajouter à leur statistique inférentielle des statistiques dites descriptives.
Génial, comme d'habitude!!! Est ce que tu peux nous commenter le bac métropole qui va sortir. Je suis sure que t'as des méthodes ultra-efficaces pour résoudre toutes les questions en moins de 30 minutes. Ca m'intéresse de savoir comment les mathématiciens arrivent à résoudre des problèmes simples, qui sont déjà très compliqués pour moi.
Bonjour, Je pense que "la méthode scientifique par p value" n'existe pas. Le test d'hypothese reste un outil de la science inductive et non sa fin (entre parenthèses, les intervalles de confiance offrant une meilleure surface de discussion sont en général préférés aux p values) et une conclusion ne devrait et en pratique n'est quasiment jamais soutenu par le seul franchissement d'un seuil statistique mais lié à une discussion englobant les tailles d'effets et l'ensemble des connaissances empiriques et théoriques (incluant les autres études effectuées jusqu'alors). Une partie de la méthode scientifique réside en une articulation rationnelle de ces différents éléments. De plus, je pense que si une méthode scientifique par p value existait, elle ressemblerait à la succession suivante de 5 étapes: 1. Formuler une ou quelques hypothèses 2. Mettre en place un protocole expérimental (ce qui inclus le nbre d'enchantillon) 3. Acquérir les données 4. Traiter les données 5. Tirer des conclusions concernant les hypothèses testées (et uniquement celle ci) Tout le reste est de l'analyse dites exploratoire de laquelle aucun scientifique sérieux ne tirera d'elements *forts* d'argumentations. Clairment le test d'hypothèse fréquentiste pose des problèmes d'ordre pratique et l'analyse Bayesienne offre de meilleures propriétés *théoriques* mais amalgamer la méthode scientifique à une liste de tout ce qu'il ne faut pas faire avec les p-values (et qui en pratique est rarement fait) me semble très contre-productif et aller à l'encontre de l'attitude que vous défendez (magnifiquement bien) par ailleurs.
J'ai rien compris à cette histoire de théorie rejeter une infinité de foi pourquoi le fait de répèter une expérience augmente les chances que la théorie soi rejeter sa me paraît magique ?
Merci beaucoup, je ne faisais pas confiance totalement au résultats incroyable de la science car je savais qu'il pouvais y avoir des travers, merci d'avoir clarifié certain points. Il est important qu'on continue d'améliorer la méthode scientifique et le système autour de façon général. Petite question comme ça j'y ai pas trop réfléchit mais si on par du principe qu'une étude sur 100 (p-value de 1%) sera contradictoire avec le reste ou du moins aura des résultats inédits, ne serait-il pas possible de voir ces résultats dans les méta-analyse et du coup de reconnaitre que ces résultats sont "défectueux" en quelque sorte? Et donc des les ignorer en sachant qu'ils seront "faux"? Je ne suis pas du tout un expert en statistique donc ne me tapez pas dessus x) de plus je n'ai guère réfléchis aux implications de ce que je viens de dire du coup s'il vous plait éclairez ma lanterne :p
La raison numéro 1 est intéressante. La numéro 2 est avant tout un problème méthodologique. On peut éventuellement reprocher à l'approche par p-value de ne pas permettre de déceler l'erreur si la description méthodologique n'est pas suffisamment claire, mais un chercheur ne devrait pas tomber de bonne foi dans ce piège. Encore faudrait-il qu'on apprenne son métier au chercheur. Les raisons suivantes sont avant tout liées au contexte qu'à la méthode. La communauté est très insatisfaite à ce sujet mais il est difficile de s'extraire du contexte actuel (notamment parce qu'il n'y a pas une alternative claire, parce que les autorités estiment qu'une mauvaise métrique vaut mieux que pas de métrique, parce que ne pas jouer le jeu est un risque pour le chercheur -- aurait-on atteint un équilibre ?) Je me réjouis de voir la suite des vidéos pour obtenir quelques réponses :-) Ah oui, et je suis étonné que le fait que la méthode par p-value ne puisse pas répondre à toutes les questions, et pas seulement pour des raisons éthiques, n'ait pas été soulevé dans cette vidéo. Mais ça a peut être été dit ailleurs
Lê, que fais tu de la nécessité de reproduire les expériences et des méta analyse qui s'appuient sur un ensemble de recherches pour faire une synthèse ? En médecine, le Cochrane est un exemple d'institut américain.qui cherche à déterminer la qualité des études scientifiques en question en publiant des méta analyses qui me semblent vraiment de bonne qualité.
En réalité, il semble que bcp de problèmes viennent du fait que la P-value n'est qu'un indicateur. Tomber sur un résultat statistiquement significatif ne devrait pas nous dire si une théorie doit être rejetée ou acceptée mais uniquement viser à augmenter la crédence que l'on a en cette théorie Ce que j'en interpréte, dans le cas d'un grand nbre d'expériences, c'est qu'il faudrait plutôt passer par une "moyenne" de P-value (attention, je parle pas de la moyenne au sens statistique, c'est plus dans l'idée que j'en parle, en vrai j'y connais rien ^^) ou en gros notre crédence en la théorie devrait plutôt passer par le nombre de résultats statistiquement significatifs que l'on a obtenu plutôt que par "hop on a dépassé le seuil c'est bon on peut publier" Dites moi ce que vous en pensez, histoire de voir si je dis pas trop de la merde;)
quand j'ai entendu que les 5 plus gros reproches pour la p-valeur arriveront la prochaine fois, j'ai bien ris. Je pense que l'un est le fait qu'une p-valeur supérieure à 5% ou le seuil choisi ne nous donne aucune indication sur la confiance à attribuer à l'hypothèse qu'elle soit vraie. Sinon j'ai l'impression que les critiques peuvent viser n'importe quelle méthode et pas juste la p-valeur. Si une étude dit autre chose que plusieurs autres, c'est certain que si on retient la seule étude qui met un résultat différent pose problème indépendamment de la méthode. Le travers 2 est vraiment caricatural. En fait, je trouve que les 5 critères peuvent se résumer dans un seul: "on veut montrer un résultat spectaculaire, on va donc faire l'étude pour montrer ce résultat". c'est certain que si l'on décide du résultat avant l'étude, cela pose problème. Ce n'est donc pas spécifique à la p-valeur qui n'est qu'un outil. Un point spécifique à la p-valeur est le choix du seuil, quand il est entre 1 et 5%, c'est vraiment arbitraire de dire ce que l'on fait de l'hypothèse à tester.
très bonne vidéo, comme d'habitude . tu ne parles pas des conclusions avec très peu de données, par extension statistiques. mais je pense que c'est pour la prochaine fois
Yes, excellente vidéo ! J'imagine que ma question est passée à la trappe, je suis shadow ban depuis 1 mois sur TH-cam ... la réponse donnée à Aurel Ayrault répond en partie à ma question. Même si j'ai encore du mal à comprendre comment on formalise la p-value concrètement ?
Formellement, on considère une théorie T qui est une loi de probabilité sur l'ensemble Données. On construit alors une fonction Extrême : Données -> P(Données), qui a toute donnée D associe un sous-ensemble Extreme(D) de Données (pour être cohérent, on peut ajouter la condition que Extrême(Extrême(D)) = Extrême (D)). La p-value d'une donnée D pour tester T est alors définie comme p = P[ Extrême(D) | T] (c'est-à-dire la mesure de l'ensemble Extrême(D) d'après la loi de probabilité T).
@@le_science4all Super merci pour ton explication ! :) ça me permet de comprendre le principe général ; du coup le choix des données influent nécessairement sur la preuve apportée à la théorie, ce que tu expliques dans ta vidéo comme un biais de sélection potentiel.
Bon bon bon, je me permets de faire un commentaire sur cette vidéo car je suis entrain de me taper toutes les vidéos sur l’infini que tu as réalisé et plus personnes ne les regarde pour lire mon commentaire. Petite question philosophique car du haut de mes 16 ans je n’ai pas les connaissances pour comprendre le langage formelle des fondations mathématiques bien qu’avec la relecture de tes épisodes hardcores et théories ensemblistes, je commence à m’y faire (sauf celle sur l’homotopy des types😬😭😂). Bref, j’essaie de trouver mon chemin dans tout ce grabuge de nouvelle théorie, théorie cachée, axiomes inutiles nous guidant a des paradoxes... et je me suis demandé si ces languages étaient vraiment au coeur des fondements de la mathématique puisque tout de même ce ne sont que des signes auxquels nous attribuons un sens logique. Si mon raisonnement est correct, nous pouvons par conséquent déduire donc que le réel fondement de la mathématique est bel et bien notre sens logique que nous portons et qui nous emmène à des paradoxes. Moi qui crois en une mathématique vraiment sous jacente à la réalité ne peut que se demander si notre sens logique est aussi logique que nous le croyons ; nous ne sommes pas omniscients et notre cerveau n’est pas infiniment complexe. Ainsi, faut il rejeter des paradoxes ? Qu’en est il des mathématiques pas si rigoureuse ? Comment mettre notre réel sens logique sur papier ? Existe-t-il qu’une seule mathématiques (référence au isomorphisme 😉) ? Tiens ça me rappelle ta vidéo «les mathématiques : inventions ou découvertes ?», peut être que la vie autre part à aussi formaliser une mathématique totalement différente. Dommage que l’on soit totalement bloqué par l’illusion et la subjectivité de notre cerveau. Cela pourrait être intéressant d’avoir d’autre point de vue. Enfin j’espère que quelqu’un a compris ce monologue intérieur philosophique (de toute manière je ne peut que m’attarder sur cet aspect puisque je ne suis pas assez compétent sur les autres...)
C'est pas du tout le sujet ici, mais sur le thème "mathématiques : invention ou découverte ?" et le thème (lié) du statut des paradoxes, il y a aussi d'autres bonnes vidéos de plusieurs youtubers : Monsieur Phi, Science Etonnante (vidéo sur Gödel)...
est-ce que dans la point 5 sur la malléabilité tu parles des variables instrumentales qui permettent de contenir un biais d'exogénéité d'une variable explicative ? en choisissant des variables qui nous seront subjectives dans ce cas l'étude pourrait être biaisé car on y rajoute de plus en plus de variables jusqu'à avoir une p-value publiable ?
Bon.... Je comprend rien.... _TRAVERS N°1_ Si j'ai un seuil à 1%, et si la théorie testée est vraie, ça veut dire que j'ai une chance sur 100 de la rejeter alors qu'elle est vraie, c'est à dire d'avoir un faux négatif. Donc si les tests sont _"indépendants"_ (1:39) je peux donc prévoir que parmi 100 tests, je vais en moyenne avoir 1 faux négatif. Pourquoi multiplie t il les probabilités entre elles ? C'est bien parce que justement elles ne sont PAS _"indépendantes"_ non ? En effet, si je pense à une séquence de tests l'un après l'autre et que je mesure le nombre de faux négatifs, alors je dois multiplier les probabilités. Et dans ce cas là, au bout de 459 tests, la probabilité que je n'ai eu aucun faux négatif est à 1%... Mais en admettant que j'ai un, ou même dix faux négatifs au bout de 459 tests. Ca veut bien dire que dans 449 tests sur 459 je n'ai pas réfuter une vraie théorie... C'est plutôt pas mal non ? _TRAVERS N°2_ Tu dis : _"une variante que subtile de ce phénomène et le fait de suivre la valeur de la p-value au fur et à mesure que les données s'accumulent"_ Mais tu as expliqué que la p-value était la vraisemblance des données sachant l'hypothèse nulle vraie... Donc pourquoi celle-ci changerait elle _"à mesure que les données s'accumulent"_ ? Quelque soit la quantité de donnée que j'ai, la prédiction de l'hypothèse nulle ne change pas non ? _TRAVERS N°3_ (Il ressemble au travers n°1) Si je fais 20 expériences et qu'au bout de la vingtième j'obtiens bien mon résultat inhabituel sous le seuil, quand je publie, je dois bien dire que j'ai du le faire 20 pour y arriver non ?
"Quand une mesure devient un objectif, elle cesse d'être une bonne mesure". C'est ce que vous voulez dire ici avec la p-value, mais ça n'est pas spécifique qu'à la p-value, n'est-ce pas ?
1) Disons qu'une théorie T0 vraie a 99% de chance de survivre au test. Des théories alternatives T1, T2 ou T3 fausses auront probablement beaucoup moins de chances d'y survivre. Ainsi, une méta-analyse comparant ces quatre théories conclura tout de même que T0 est la meilleure théorie pour le moment. Et d'accord pour les autres points :) A part bien sûr l'identité que tu fais entre fréquentisme et méthode scientifique, qui me semble épistémologiquement ou historiquement très discutable.
Souvenirs amers la P-value pour la majorité des biologistes (de mon temps), c'est la probabilité que l'hypothèse testé soit vrai. Travers 1: Quand j'ai expliqué le soucis de la p value (travers 1) à mon directeur de thèse (biologie, donc P value < 5%), il m'a regardé, haussé les épaules et m'a dis que j'avais rien compris aux statistiques. Travers 2 : il me disait : " sélectionne les données qui font que ça valide bien tes tests..." Travers 3 : refaire des expériences qui ont déjà été faite et qui n'ont rien donné de significatif, donc non publiées. Combien de conclusions sont omises, car jugées non utiles et qui vont faire perdre du temps à d'autres chercheurs Travers 4 : P hacking, 20 expériences (pour 5% de p value), sauf que si ça réussit une fois, il faut la refaire 2 autres fois (et que ça soit positif à chaque fois), chose jamais faites en biologie (trop long/coûteux). Travers 5 : je travaillais sur l'expression des gènes : "si ça ne marche pas pour les gènes cibles, regarde si ça affecte d'autres gènes et si ça peut être intéressant". Parmi, les 4000 autres gènes, forcement j'ai pu trouver des trucs intéressant, mais scientifiquement non valide... En biologie, bien souvent la précision expérimentale (précision de concentration de solution, de pesée...) n'est pas pris en compte lors des calculs, car tend à rendre complexe le calcul et que ça tend à rejeter l'hypothèse. j'ai préféré ne pas publier (des trucs bancals, mais avec P value
Ça me fait tristement plaisir de voir écris le fond de mes pensées dans un commentaires. Encore 1 an et j'ai finis. Pourquoi avoir fait un doc? Je voulais devenir prof, maintenant je veux seulement fuir loin de se monde...
En fait, j'ai réfléchi un peu, et je me dis que finalement ça rend l'ingénierie plus intéressante à mes yeux. Je m'explique : on voit souvent l'ingénierie comme moins rigoureuse que la recherche, puisque le but des ingénieurs, c'est de maximiser la THUNE, contrairement aux chercheurs, moins bien payés mais beaucoup plus attachés à la description de la réalité du monde. Sauf qu'en fait tout est là : les ingénieurs ont intérêt à ce que leurs conclusions soient vraies, pour que leurs prédictions marchent afin l'entreprise soient, enrichie, et les récompense en retour. Alors que les chercheurs, eux, ont intérêt à ce que leurs conclusions soient SENSATIONNELLES pour pouvoir survivre au milieu de la mer de publications. Ainsi, l'ingénierie, pourrait être plus fiable que la recherche, du fait des incentives, malgré une méthode moins contrôlée. (Le souci étant qu'ils ne s'intéressent pas du tout au même sujets, et que donc, on aura de toute façon besoin des deux.) Je me permets de reprendre la phrase : "Blâmez le jeu, pas les joueurs" ^^
Cool comme série de vidéos, j'espère te voir parler aussi de HARKing, Hypothesizing After The Results Are Known, l'autre fallacy avec le p-hacking! www2.psych.ubc.ca/~schaller/528Readings/Kerr1998.pdf Cette vidéo me fait penser à une publication où j'ai vraiment bêtement mis en lumière une correlation avec p
Pour le 2, je dirais que en cas d'arrêt prématuré à cause de cas extrême, il faut soit ne pas publier, soit préciser que le papier est soumis à des biais à cause d'arrêt prématuré. Cependant, le 2 n'est pas vraiment un argument contre la P-value mais contre une méthode lorsqu'on utilise une P-value.
C'est devenu quasiment obligatoire ! Et dans tous les domaines, ne pas le faire est de l'escroquerie scientifique pure et simple. Je ne comprends pas pourquoi on met ça en lien avec la p-value.
Je vous cite : "ça m'exaspère d'entendre des scientifiques dire que la méthode scientifique d'aujourd'hui est la moins pire". Mais n'est-ce pas vrai (même si ça n'empêche pas de chercher mieux) ?!
J'allais poster exactement le même commenaire. Je pense effectivement que la méthode scientifique actuelle est la moins mauvaise de toutes les méthodes visant à produire de la connaissance. Par contre, je pense tout autant que cette méthode sera un jour dépassée.
Ca m'a fait tiquer aussi, elle est pour moi effectivement la moins pire que l'on connaisse aujourd'hui. Et je ne pense pas que cela minimise les progrès qu'il reste a faire, au contraire il me semble que cela met en exergue ces problèmes: "Regardez tout les défauts qu'a cette méthode que l'on considère comme la meilleure, il faut vraiment améliorer ca"
Je ne pense pas que la critique porte sur ce constat en tant que tel mais plutôt sur le fait que certains s'arrêtent à ce constat (et empêche ainsi une expérience de pensée qui leur serait bénéfique) .
Le fait qu'une telle application de la méthode scientifique rende le détournement possible est problématique. Le manque de financement, le système par publication etc ... incitent en plus aux détournements, pour ne rien arranger
@@blueeyedwolf4175 Cela renvoie à un débat plus large : comment inciter à un objectif (et donc fixer nécessairement des critères) sans que ces critères finissent par détourner de l'objectif ? Ca ne concerne pas que la recherche et les publications. Lê en parlait dans une vidéo de la série sur l'intelligence artificielle (qui était en fait beaucoup une série sur la mesure et les stats).
Bonjour, Il me semble qu'en sciences on ne conclut à des a la forte plosibilitée d'une hypothèse une fois que les méta-analises convergent vers un consensus. Et ces critiques sont surtout applicables aux articles qui prouvent pas grand-chose mais qui indique des pistes non ? La science prend du temps.
Effectivement dans ce top 5 on a une vraie redondance dans les biais induits par ... une multiplication des tests. J’ai beaucoup apprécié la réplique à « c’est le moins mauvais système qu’on a donc il faut le garder » (Tu as dit « moins pire » mais pardonnons ce barbarisme 😁) Cette réflexion fonctionne également pour les systèmes politiques pour lesquels on nous ressort toujours la démocratie et la citation de Churchill comme étant le Saint Graal alors que l’honnêteté intellectuelle devrait plutôt pousser à chercher un système politique moins défaillant voire meilleur, qui sait? Tout en conservant les libertés individuelles.
Pareil, si j'étais sur le point de devenir chercheur, j'aurais totalement baissé les bras. Heureusement, je suis en ingénierie, et je peux assumer pleinement de mettre mes compétences au service du Grand Capital sans avoir besoin de faire de p-hacking, et sans dégrader l'état de la connaissance humaine. Ouf ! 😰
13:20 : seulement 1 étude. La seconde (la plus à droite sur le graphe) trouve un résultats très important mais non statistiquement significatif (ils ont intervals de confiance énormes).
Seb16120 c’est qu’ils ne l’ont pas compris et sont stupides. En revanche, si c’est pour discuter la certitude d’études, sans nier qu’elle pourrait être vraies, ils peuvent
La mauvaise science fait plus de mal à la science que sa critique. Pointer du doigt les limites d'une méthode érigée en dogme pour justifier ce qui s'apparente à de la pseudo-science est donc salutaire. Et si certains veulent y voir une raison de nier toute science, et bien tant pis : ils auraient trouvé un autre prétexte de toute façon.
C'est marrant, certains disaient pareil à propos de dieu quand on a commencer à affirmer que la terre était sphérique. J'ai l'impression qu'on utilise ce genre de phrase à chaque fois qu'une croyance est remise en question lol
QUESTION : Merci beaucoup Lê, mais alors, moi qui débat avec des climato-dénialiste, qui précisément n'ont pas confiance dans le système scientifique, qui, en plus des biais que tu cites pourrait très bien être manipulé par l'argent ... est-ce qu'il y a un argument qui permet d'être relativement sûr que le "consensus" des climatologues sur le réchauffement en est bien un ? Question subsidiaire : est-ce que ces travers font que des publications ici ou la passent sous le radar (et un médicament inefficace est mis en circulation mais ça ne remet pas en cause l'ensemble), ou bien as-t-on des effets systémique ?
@@seb9739 Oui c'est précisément le sens de ma question : peut-on s'assurer qu'il n'y a pas d'effets systémiques ? A priori moi, je ne sais pas répondre à cette question. J'ai un haut niveau de confiance sur les science "dures", par contre, presque aucun sur les sciences "sociales" (particulièrement en France) et, je sais qu'il y a une influence du champ social sur la biologie par exemple qui biaise les choses au niveau systémique. Le climat étant une science "jeûne" et difficile, je ne sais pas trop ou ça se classe car il y a des énormes enjeux derrière, et donc potentiellement des biais. En tout cas, l'argument principal des climato-dénisaliste c'est de dire que ce champ de la science a été trop influencé par la politique. Hors, le GIEC c'est précisément un outil "entre les 2" de synthèse scientifique pour les politiques. Mais derrière le GIEC il a des crédits alloués à la recherche, donc du politique. Comment s'assurer que les recherches climatosceptiques ne sont pas simplement non financées et étouffées ?
@@seb9739 difficile dans le sens ou on parle d'un système non linéaire, chaotique. On commence à avoir quelques outils, mais c'est récent (années 70 en gros). Il y a beaucoup de variables, les modèles sont loin d'être parfaits (et c'est un reproche que je lis souvent "les modèles ne marchent pas). Jeûne, ben le premier "climatologue" officiel ça date de quand ? ça ne doit pas avoir plus de 50 ans, non ? Du coup, oui, merci pour l'argument qu'il y a de nombreux biais "anti-réchauffiste" (je ne penses pas à le dire mais c'est évident). Est-ce qu'on aurait des chiffres ou des études la dessus ? ça me semble un bon angle d'attaque.
@@seb9739 merci. Pour les climatologues, moi je parle d'un gus dont c'est le boulot officiel dans une université. Que les gens s'intéressent au climat, oui ... ce n'est pas nouveau. Je croyais que le consensus était assez récent. Mais il est vrai que c'est le consensus sur l'URGENCE qui est récent, peut-être que les climatologues sont d'accord sur le réchauffement anthropique depuis bien avant. Je vais essayer de trouver des sources. Al Gore à fait connaître le sujet du grand public, mais il a aussi créé le climatoscepticisme par contre coup parce qu'il a dit pas mal d'âneries.
@@yoananda9 La climatologie moderne s'est développée grosso-modo à partir de l'après-guerre. Ce n'est donc pas si jeune. D'après ce que j'ai lu, c'est la volonté de mettre au point des systèmes de guidages de missiles par infrarouge qui a conduit à un à un calcul précis du transfert radiatif dans l'atmosphère. Pour ce qui est de l'influence de la politique sur la science du climat, c'est juste ridicule. Les écologistes ne dirigent aucun des gouvernements mondiaux(ils sont juste parfois membres minoritaires de coalitions), et les autres motivations que certains envisagent pour une telle manipulation relèvent de théories de la conspiration totalement délirantes comme: "c'est pour empêcher les pays pauvres de se développer" ou encore "c'est pour instaurer des impôts" ou également "c'est pour organiser des marchés spéculatifs juteux". C'est stupide et les climato-s(c)eptiques montrent juste là qu'ils sont prêts à utiliser n'importe quel argument aussi foireux soit-il pour rejeter des conclusions qui ne leur plaisent pas.
Je suis déçu, il y a beaucoup de mauvais points dans cette vidéo: tu ne parle pas de la correction pour tests multiples ou des méta-analyses qui sont des moyens de corriger ton argument binomial, et les équipes qui ont analysées les arbitrages de football ont bizarrement tous utilisés une méthode différente dont certaines qui ne prennent en compte aucun facteur de confusion ce qui n'est clairement pas une méthode valide pour analyser ce jeux de données.
* Travers n°1 ("Toute hypothèse vraie sera rejetée une infinité de fois") : je me rends compte encore une fois de l'étendue de mon ignorance en réalisant que les méta-analyses ne sont pas forcément meilleures si elles ont tendance à être "sur-exigeantes", et qu'il vaut mieux alors comparer les études entre elles selon différents critères. Mais est-ce vraiment le plus grave ? * Travers n°2 ("Invalidité des arrêts prématurés") : ce truc est connu par tous les scientifiques et n'est pas lié qu'à la p-value. S'arrêter en cours de route est un biais d'une telle évidence. Vous dites "personne ne pourra se douter de rien" : pour le lecteur oui mais pas pour l'auteur, qui est alors un escroc ni plus ni moins ! * Travers n°3 et 4 ("Biais de publication" et "p-hacking") : TOUTE ETUDE DEVRAIT ETRE PUBLIEE (qu'elle soit négative ou positive). Là est un problème autrement plus grand que le travers n°1 par exemple. Donc ce n'est pas la p-value qui est en cause, mais son utilisation. * Travers n°5 ("Malléabilité") : c'est aussi très connu, et pas lié à la p-value en tant que telle. Il est souvent facile, parfois difficile, de déceler que le critère utilisé est bidon ou anecdotique. Il est surtout fréquent de ne pas suffisamment examiner dans le détail le/les critères. Exemple : "Trifouilly-les-oies est la ville la plus ensoleillée de France". Eh bien je peux vous assurer que, selon le critère que vous prenez, vous finirez par en trouver un qui fait que c'est vrai dans votre ville. Mais si on examine bien le critère, on peut se dire qu'il correspond ou pas à ce qu'on attend. C'est vrai aussi en médecine, pour un médicament.
Pour le travers 2, il peut être éthique de s'arrêter en cours de route suivant les résultats. Seulement, un calcul bayésien peut démêler ce biais, tandis que la vraisemblance des données seules, sans rajouter l'information "sachant que l'on a du s'arrêter a cause de ..." peuvent conduire a une mauvaise interpretation. Pour le travers 3, c'est sur que c'est surtout un biais de publication ! Mais aussi c'est parce qu'on s'autorise a publier des résultats partiels, car la p-value ou vraisemblance des données peut être prise experience par experience. Néanmoins, si on s'en tenait a une approche plus bayésienne (voire honnête), il faudrait a minima dire quelles ont été les autres experiences et tests menés avant de tomber sur le surprenant résultat en question, et si possible donner la probabilité de tomber sur un résultat surprenant ou moins dans tout le jeu de données, en gros la p-value de l'experience entière.
toute cette énergie utilisée en oubliant le premier principe de la statistique: s'il ya 99 % de chance que cela soit faux il est néanmoins possible que le 1% soit vrai et inversement et dans la dimension de la réalité d'un progrès possible : il niche très souvent dans le 1% qu'on n'avait pas compris et donc sous évalué ce qui explique son faible score parce qu'on n'avait pas ajusté le cadre de l'expérience d'une façon valorisante pour le 1% qui du coup sous un autre angle prend une toute autre valeur
OK, aucun outil n'est parfait, surtout face à la complexité du monde. Mais ce n'est pas une raison pour rejeter les méthodes scientifiques, je veux dire ce n'est pas une raison pour accepter ces faiblesses comme justification d'affirmations pseudo-scientifiques prétendûment trouvées dans un Grand Livre qui serait la Parole de Dieu .
Bonjour, je rebondis sur les trois premières minutes : Si une théorie T est vraie, qu'on fixe le seuil à 1%, et qu'on effectue un grand nombre de tests, alors environ 1% des tests rejetteront T. Peut-on en conclure, à l'inverse, que si environ 1% des tests (nombreux) effectués rejettent une théorie T pour laquelle on avait fixé un seuil de 1%... alors c'est un argument plutôt convaincant de la validité de T !?
Concernant les travers 1 et 2, je ne comprends pas en quoi un test randomisé sur un échantillon de très grande taille ne suffit pas à les corriger. On peut discuter des notion de "grande taille" ou de "randomisation", éventuellement, mais si on admet qu'il est possible de travailler sou ces conditions, je ne vois pas pourquoi la p-value perdrait de sa pertinence.
Le problème c'est qu'on n'a pas toujours les moyens ou le temps d'avoir un échantillon de grande taille. Pour moi, il faudrait faire plus de méta-analyses, mais pour être rigoureux, il faudrait que les négatifs soient aussi publiés. Parce que si seulement 10 études sur 100 prouvent qu'un effet est significatif, alors l'effet significatif est peu probable.
Bon, c'est bien tout ça. Mais on attend toujours de savoir comment le bayésianisme nous permet d'augmenter l'étendue de nos connaissances mieux que le fréquentisme, plutôt que seulement nous faire prendre conscience de l'étendue de notre ignorance. Nous sommes impatients.
Si vous considérez vrais les trois axiomes suivants: - il existe une réalité objective (c'est-à-dire que la réalité peut être décrite comme un ensemble d'événements "vrais" ou "faux", à l'opposé d'une réalité définie par les croyances du sujet par exemple); - la vision que nous en avons est subjective (c'est-à-dire que nous ne voyons pas le réel tel quel mais à travers nos propres filtres et outils, et par conséquent nous ne pouvons qu'estimer la crédibilité d'un événement à partir de notre interprétation propre, donc attribuer une probabilité aux événements du réel); - la vision que nous avons du réel est dépendante des informations que nous avons à son sujet (et donc nous attribuons la probabilité d'un événement SACHANT d'autres événements, c'est-à-dire en prenant en compte la probabilité attribuée antérieurement à ces autres événements)..... ... alors il n'y a pas le choix, que vous soyez un humain, un ordinateur ou une chèvre, ce que vous savez, vous le savez grâce aux probabilités conditionnelles et à la formule de Bayes (raison pour laquelle le livre de Lê s'appelle "LA formule du savoir"). Comme celle-ci est la plupart du temps inappliquable, en pratique on devrait se contenter d'utiliser des méthodes permettant d'en faire une approximation. Pas sûr que le fréquentisme soit nécessairement la meilleure (à la rigueur il me semble qu' on peut voir ce dernier comme un calcul de la formule de Bayes au voisinage d'un maximum de crédence dont on forcerait la stabilité arbitrairement). Mais le bayésianisme ouvre la porte à des tas d'autres méthodes dont on jugera la pertinence différemment selon le sujet étudié.
@@cyrlav7748 Oui, bon, c'est bien beau et philosophique, tout ça (Monsieur Phi l'explique très bien dans ses vidéos). Et donc ma question reste la même et sans réponse depuis 5 épisodes : et après, on fait quoi, concrètement ?! Quelles sont les méthodes concrètes du bayésianisme, applicables en pratique, pour étendre nos connaissances et pas seulement nous faire prendre conscience de l'étendue de notre ignorance ?
Je ne connais pas de "méthode bayésienne" universelle concrète, mais il s'agit de toutes manières de calculer cette fichue fomule de Bayes. Pour la médecine, je suis pas sûr que ça soit particulièrement pertinent. Mais prenons l'écologie ou la macroéconomie, intuitivement je pense que des IA bayésiennes seraient plus pertinentes que des p-values pour faire les méta-analyses. Il faudrait jouer avec de très nombreux modèles théoriques en cherchant pour chacun d'entre eux à faire un maximum de prédictions, sans avoir un modèle "favori" et sans les confronter à des données. Parallèlement, collecter de très nombreuses données sans lien avec un modèle à valider ou réfuter (même quitte à chercher ces données au hasard...). L'IA se chargerait ensuite de calculer la vraisemblance des données selon chacun des modèles, et de calculer ensuite la crédence de chacun des modèles. J'imagine que ça supposerait aussi qu'il n'y ait plus de système de publication, mais seulement des méta-analyses mondiales.
@Guillaume Limousin : Il me semble que l’algorithme qui a permis de traiter les données de l'EHT pour nous offrir récemment la première image d'un trou noir est un algorithme bayésien (Wikipédia : en.wikipedia.org/wiki/CHIRP_(algorithm) ). On peut aussi ajouter que de ce que j'ai compris du dernier épisode en date de "Probablement?" avec Sébastien Carassou, ce dernier a utilisé une méthode Bayésienne durant sa thèse (link : th-cam.com/video/i7BIwI9f7PU/w-d-xo.html ). Je suis loin d'être expert, mais cela semble indiquer que le bayésianisme à des applications pratiques permettant d'étendre nos connaissances. Mais je suis d'accord sur le fait qu'il me tarde que cette série aborde le sujet des applications pratiques.
A part pour le premier cas je ne comprends en quoi la p-value est à l'origine de ces travers. L'organisation de la recherche le "publish or perish", des erreurs méthodologiques me semblent davantage à mettre en cause. Multiplier les tests statistiques, arrêter les expériences dès qu'on a un bon résultat ou encore procéder à posteriori à des traitements statistiques , est-ce inhérent à la p-value? Quant au premier cas, je ne comprends pas non plus pourquoi une méta-analyse devrait conduire à dire que toute hypotjèse devrait être rejeter. Je pensais que dans une méta-analyse, justement, on prenait en compte le fait que certaines études donnent des résultats significatifs par pur hasard.
ah ben il a déjà répondu à ma question sur la vidéo précédente. ( science 4 all réfléchi plus vite que la lumière? lol) ou alors c'est que je regarde ses vidéos en retard
Il y a une chose que je ne comprends pas... Si on obtient un certain pourcentage de rejet sur une étude répété un grand nombre de fois; N'est-ce pas là une donnée plus qu’intéressante sur la validité de l'étude en question ? Un genre de "méta-étude" où l'on peut comparer justement la P-Value et le pourcentage de rejet ? Intuitivement, j'aurais bien envie d'accorder une plus grande confiance envers la validité de l'étude si la P-Value et le pourcentage de rejet sont du même ordre de grandeur... Est-ce que je fais une erreur en pensant ça ?
Tiens la malléabilisé, ça me fait sérieusement penser aux innombrables études du glyphosate non statistiquement significatives, qui ont pas passé la barrière des médias, excepté le CIRC qui lui était étonnament plus significatif que les autres...
Il aurait été important de préciser que les critiques que tu formules ne remettent pas en cause la valeur de la méthode, mais la mauvaise utilisation qui peut en être faite. D'autant que les pré-requis à la validité de l'emploi de telles méthodes exclues _de facto_ l'essentielle de ces mauvaises utilisation (déterminer l'intégralité du protocole (y compris nombre d' "evènements", les tests à soumettre à l'échantillon, etc.) AVANT sa mise en application ; avoir un et *un seul* critère de jugement principal ; etc.). Enfin ... sauf la première critique qui ne me parait même pas avoir de sens : certes si on a un "petit p" à 0,01 on a 1% de chance de rejeter par erreur une hypothèse vraie ... mais on ne rejette pas une hypothèse dés lors qu' *une unique* étude semble ainsi la réfuter ! _A fortiori_ s'il s'avère qu'à côté de cette étude, 99 autres la conforte ... Dés lors on n'est même pas dans la critique liée à une mauvaise utilisation, mais simplement dans une _mauvaise compréhension_ .
La méthode scientifique d’aujourd’hui est là moins pire des méthodes aujourd’hui Je vois pas en quoi ce serait dommage de dire ça Comme la fission nucléaire est la moins pire des méthodes pour générer de l’énergie propre aujourd’hui Jusqu’à ce qu’on ai la fusion Et même une dois ce progrès technique atteint, on cherchera encore à réduire les perte
Si j'étais sur le point de devenir chercheur, cette vidéo m'aurait totalement découragé. Heureusement, je suis en ingénierie, et je peux assumer pleinement de mettre mes compétences au service du Grand Capital sans avoir besoin de faire de p-hacking, et sans dégrader l'état de la connaissance humaine. Ouf ! 😰
Mais l'ingénierie ne découle-t-elle pas des travaux des chercheurs ? Parce que si je devais donner une définition d'ingénieur, ce serait quelque chose comme "le gars qui cherche à mettre en application concrète les découvertes scientifiques" :v
@@Raysenel Aaaaah non, ou plutôt oui mais pas plus que les autres chercheurs. En fait les ingénieurs (du moins ceux de recherche et développement) font aussi de la recherche. L'innovation, c'est leur domaine. - Les chercheurs font de la recherche *fondamentale* , c'est-à-dire qu'ils font de la recherche sur un sujet sur lequel il n'y a pas d'application a priori, pour élargir d'état de la connaissance, parfois en espérant tomber sur quelque chose qui a une application pratique. Ils sont donc logiquement dans le public. (d'où les problèmes de financement et celui du "publish or perish", le critère étant que leurs découvertes soient intéressantes pour les revues de publication) - Les ingénieurs font de la recherche *appliquée* , c'est-à-dire qu'ils recherchent sur un domaine sur lequel ils savent ou soupçonnent qu'il y a une application pratique qu'ils visent à exploiter. Le financement vient donc d'entreprises bien décidées à exploiter le filon de l'application pratique de la recherche, et les ingénieurs sont donc naturellement payés par le privé. (le critère étant donc l'utilité de leurs découvertes et l'argent que ça peut rapporter) C'est comme ça d'ailleurs que les ingénieurs n'ont presque jamais de brevet à déposer, puisque si ils découvrent quelque chose de révolutionnaire pendant leurs heures de travail, donc pendant qu'ils sont payés par l'entreprise, le mérite de la découverte (aux yeux de la loi) est attribué à l'entreprise, et c'est elle qui dépose le brevet.
@@Raysenel Bien sûr ! Les chercheurs peuvent aussi faire de la recherche appliquée, mais c'est plus rare. Pour faire ça, tu seras beaucoup mieux payé dans le privé. Surtout concernant les mathématiques appliqués à la finance. Les ingénieurs qui s'y orientent sont les plus grassement payés. Si tu es un matheux talentueux, tu peux te faire des co*uilles en or ^^ (à condition d'avoir un diplôme à la hauteur)
Il ne faut pas confondre les statistiques avec la façon de penser dite "méthode scientifique" ; cette dernière est fondée sur l'observation des faits et une interpretation LOGIQUE des faits. La condition "être statisticien" n'est absolument pas suffisante pour être un scientifique ! Et l'on peut être des scientifiques sans connaître "grande chose" des statistiques. Toute personne qui adapte ses croyances aux faits (la *realité*) est un scientifique. Toute personne qui adapte les faits à ses croyances ne l'est pas.
Mais du coup, avec le p-hacking, est-ce qu'un géant de l'industrie pétrolière pourrait, avec assez d'argent, se payer une équipe de chercheurs pour "prouver significativement" que le réchauffement climatique n'est pas dû aux activités humaines ?
La formule "haïssez le jeu, pas les joueurs" a des effets non souhaitables à mon sens. Elle pousse à la faute en dédouanant le joueur des conséquences de ses actes.
Ca dépend de la morale et pour qui. Pour les chercheurs déjà en place, un nombre de doctorants plus important, leur permet d'acquérir publication et notoriété, donc plus de salaire (perso) et plus de financement (pour l'équipe et satisfaction perso). Pour le doctorant, le plus apte et le plus chanceux survie, (comme publier un truc dans Science) et essaye de se hisser à un poste après X post doc. Pour les rebus, qui s'en inquiète ? qui va s'inquiéter des "déchets" ? Je peux dire que la recherche est devenue similaire au monde industriel. Sur ma promo de master II biologie d'il y a 13ans (on est âgé maintenant de 35ans), 15 sont entrées en doctorat, 6 continues dans la recherche en tant que post doc, 1 en poste de chercheur (depuis cette année). Pour les autres, métiers divers et variés.
Je comprends pas le raisonnement qui a mené au travers 1. Avec une p-valeur > 0, il y aura bien sur un moment ou une etude va conclure a tord que l'hypothese nulle est fausse. Maintenant si on fait une meta analyse, on va agréger les données de toutes les études pour recalculer une p-valeur, et on ne va pas tomber dans le travers 1.
*Parle de la statistique « les femmes gagnent 25% moin que les hommes »*😁😁😁👍👍👍👍 Merci de démolir ce mythe scandaleux et de rétablir la vraie différence bien moindre si ce n’est nulle ou négative (retraite espérance de vie etc) Avec ta qualité d’argumentation habituelle. Enfin... si tu n’as pas peur de sortir des vérités non politiquement correctes... Et qui pourrais t’en blâmer. Merci 😁
Mais une étude ne comprend-t-elle pas tout ce qui a été mis en œuvre pour trouver le moindre résultat ? Le P-hacking (qui j'ai l'impression englobe aussi les autres problèmes) consiste en fait à dissimuler une partie des résultats non ? Ce que bannit la méthode scientifique. Parce que sinon on sait depuis longtemps que les scientifiques ont des biais de confirmation ou autres conflits d’intérêts qui pousse au P-hacking, c'est arrivé, ça arrivera encore. En fait dès qu'il y a de forts enjeux économiques personnellement, je ne fais plus trop confiance en la méthode scientifique, parce que la probabilité du conflit d’intérêt interfère trop, j'ajuste donc la p-valeur de manière totalement arbitraire, mais que j'estime plus fiable. C'est je pense ce que tu entendais par science bisounours.
Il suffit de 20 expériences randomisées avec 5% de chance de rejeter l'hypothèse pour avoir une théorie publiable, vraiment ? C'est quoi ces stats ? Je sais que la stats fréquentiste c'est pas trop ton truc mais quand même :-) (Bon, je pense qu'il s'agit d'un léger raccourci de langage que j'ai très bien compris)
J'ai un truc qui me chiffonne depuis le début de tes vidéos bayesiennes... Tu attribues des liens probabilistes entre des événements qui ne sont pas liable... Le résultat statistique de rejet d'une théorie vraie n'est pas de nx1% mais de 1% à chaque essai... Car la recherche A n'a pas d'influence sur la recherche B de la même théorie
Merci beaucoup pour ce travail remarquable ! Tout étudiant en science devrait voir cette série de vidéo. Bonne continuation !
Je propose un système/ un standard imparfait mais améliorant je pense: avoir un organisme d'enregistrement a priori des expériences statistiques. Le principe: avant de réaliser la moindre expérience statistique, un scientifique devrait enregistrer son test FUTUR via un organisme centralisé, fournissant qq détails comme la taille de l’échantillon, le critère jugé, le tout serait précisément daté etc... L’intérêt pour lui? Il pourrait ensuite, en cas de publication arborer ou non ce label "j'avais parié avant", qu'il ne tiendrait qu'à nous d'honorer fortement. Est ce que ça va le forcer à enregistrer ces essais foirés? non mais s'il en réussit un et qu'il ne s'est pas enregistré avant alors il ne pourra pas arborer le label sur sa publication, ça lui donne l'incentive de s'enregistrer. Ne serait-ce pas suffisant pour lui d'attendre d'avoir un truc qui marche pour ensuite s'enregistrer et le refaire? si ça serait suffisant mais tout l’intérêt est la, ça le force à être son propre replicateur, ça le force à vérifier lui même la reproductibilité de ses expériences. Si la communauté scientifique a su imposer un tel standard comme la p-value, il me semble tres simple qu'elle puisse imposer un autre standard de ce genre, et donner un tres gros credit au publication arborant ce label "j'avais parié avant". Il y a qq details techniques à penser, comme forcer de donner une date prevus pour le test limitant ainsi la duré de validité du "ticket" enregistré etc... au final il n'y aurait pas trop le choix, jouer le jeu, ne pas le jouer, ou tricher mais ca devrait etre une tricherie clairement volontaire, un mensonge (ce qui enleve beaucoup d'autres biais). Et ca permet aussi de faire pas mal de statistique sur les gens qui jouent le jeu.
On pourrait même rajouter un ratio sur le label "j'vais parié avant" selon le nombre de prédictions émises avant l'expérience et le niveau de confirmation. Par exemple, un statisticien effectuant son analyse sur un échantillon de 2k personnes en double aveugle devrait être plus méritante qu'un collègue restituant un résultat sur 3k sondées pour la même expérience. A mon humble avis ...
Idée très intéressante! Cela dit, comment s'assurer que le scientifique n'enregistre pas son test après l'avoir réalisé? Est-ce que la barrière psychologique de "triche" devient suffisante?
Si l'on pense que non, l'organisme en question pourrait aussi vérifier aléatoirement certains tests, cad vérifier qu'ils sont effectivement réalisés pendant la période annoncée (et au passage vérifier une partie des résultats?).
@@flavienhirsch1635 "Est-ce que la barrière psychologique de "triche" devient suffisante?" Ca c'est ce que je disais à la fin, en fait ca retire au moins la partie des biais involontaires. Le cherry picking c'est souvent involontaire: on met au point l'experience et on s’arrête quand ca marche. Parfois a raison, ie on est vraiment en train de régler un truc, parfois à tord: en fait on change rien et on s’arrête sans le savoir au moment ou on a de la chance. On est aussi pas mal biaisé d'un point de vue "mémoire" on va avoir l'illusion d'avoir réussi 10 fois et échoué 3 alors qu'en pratique on aurait fait 30 échecs (qu'on aurait decide de pas vraiment compte que des vraies tentatives) et 4 réussites (qui bizarrement dans notre tete deviendront des tests tout a fait valables. indépendants etc...). En adoptant ce protocol d'enregistrement, on va rectifier d'une part le dernier aspect, par ce que le fait de s'enregistrer va "réveiller" la personne et lui faire bien prendre acte qu'elle est en train de faire un test. Et on enleve aussi le biais involontaire, ou au moins un garde un historique de preuve pointant le fait que ca puisse être un simple hasard. Au final oui on peut pas lutter contre la triche, mais la part malveillante est minoritaire.
@@PasseScience Ça permet de régler le problème des biais involontaires (du moins ces biais-là) en effet!
Pour les tests qui se sont arrêtés en cours de route (raisons éthiques ou autre) au moins on le saurait en comparant l'enregistrement au test réel, et les auteurs devraient bien le justifier.
La question suivante devient donc: y a-t-il dans certains cas de bonnes raisons de ne *pas* prévoir à l'avance les détails du test? Est-ce qu'enregistrer les tests pourrait inciter à se priver d'études utiles qui auraient été faites autrement?
(Je n'ai pas d'exemple qui me vient immédiatement en tout cas, et puis on pourrait rétorque que si certaines variables sont dynamiques on pourrait quand même enregistrer ce qui est fixe, et expliquer ce qui doit rester dynamique et ce à quoi on s'attend)
petite précision quand à l'éthique sur les essais cliniques
- quand on soupçonne un médicament potentiellement dangereux par un de ses effets secondaires, générallement on fait un test en double aveugle où le promoteur de l'étude peut décider d'arrêter l'étude si il voit trop d'effets négatifs chez les sujets, mais il y a aussi une autre méthode. On peut faire un test avec un triple aveugle (le promoteur ignore qui est dans le groupe placebo ou non), et du coup on peut décider à mi chemin de voir les effets secondaires de chaque groupe lorsqu'on est à mi chemin et décider de lever l'aveugle pour le promoteur pour voir si on poursuit l'étude ou non. L'avantage avec e modèle c'est que si dans l'étude aucune maladie grave n'apparait, on peut décider également de conserver l'aveugle et de rester en triple aveugle jusque la fin de l'étude.
- Pour les maladies graves on ne compare jamais un médicament avec un placebo mais un médicament avec l'ancien médicament sur le marché. L'avantage est de ne pas entrainer de perte de chance pour le groupe placebo. Le risque étant de rejeter des médicaments efficaces parce qu'ils sont moins efficaces que le traitement standard. Toutefois comme ça ne concerne que la recherche sur les maladies graves on peut se dire que ça reste une bonne chose, la recherche étant orienté vers l'amélioration des traitements, ne perdant pas de temps avec des traitements moins efficaces.
Enfin je comprends l'intérêt du triple aveugle ! Merci !
Merci pour ce complément, très instructif.
Super intéressant et agréable encore une fois ! Pour les jeunes scientifiques en herbe, tu nous apprends à garder un esprit critique sur la recherche et sur ce que l'on fait dans les labos !
Ça fait plaisir de voir les youtubers faire avancer l'esprit critique et le tout dans le plaisir et la bonne humeur. Merci !!
Je trouve cette vidéo, et cette série actuelle absolument géniale et nécessaire. Avoir une réflexion profonde sur les limites de la science, de ses méthodes, de l'analyse de données, me semble capital pour faire vraiment progresser la science et les méthodes scientifiques. Ce que tu fais devrait être enseigné aux doctorants et à tout le corps des métiers scientifiques.
Concernant l'Impact Factor, il ne reflète pas uniquement la qualité du journal, mais principalement son influence.
Les journaux très spécialisés ayant un public beaucoup moins large, cela réduit leur Impact Factor sans forcément signifier des articles de mauvaise qualité.
Encore une excellente vidéo, merci beaucoup !
"En fait, ça m'exaspère même au plus haut point d'entendre parfois certains dire que la méthode scientifique d'aujourd'hui est la moins pire des méthodes. Cela me semble être une absence d'autocritique, un excès de confiance et un raisonnement motivé indigne d'intellectuels qui prétendent vouloir connaitre au mieux le monde qui les entoure." Hihi Lê tire à balles réels .... et ça fait du bien. Enfin ! Merci beaucoup, ça fait plaisir de l'entendre dire.
Wow... Lê a jugé ma question digne d'intérêt *me blushing*
(Je croyais que la réponse serait "ba... tu peux lire le Chap10 du bouquin de Larry Wasserman")
Cette image à 13:00 est LE TRUC le plus IMPORTANT selon moi ! On comprend très très bien le biais hyper important !! "Selon 2 études très très sérieuse, blablabla". Oui mais les 28 autres ? Elles n'ont pas été publié car pas impressionant. Mais les études impressionantes, sont justement impressionantes parce qu'elles se sont très probablement trompé ! Ce biais est énorme !!
super travail et vidéo, félicitation. énorme . enfin de la conscience des travers et excès et manques et inconsciences des humains dans la science vu à travers et dans une methode , la p-value , en l'occurrence.
"Dès qu'une mesure imparfaite deviens un objectif, elle cesse d'être une bonne mesure."
C'est tellement vrai et applicable partout, et en particulier en économie avec le PIB et la croissance.
Il me semble que 1,3, 4 et 5 sont exactement le meme probleme, c'est a dire la
multiplication des experiences et la publication de celles qui ont marche par hasard. Ce n'est donc pas la p value qui pose probleme, mais bien la non publication des etudes n'ayant pas marche. Tout ca peut se resumer en deux mots : cherry picking. Et je ne voie pas tres bien comment les Bayesiens pourront ne pas faire encore pire vis a vis de ce probleme.
Je suis d'accord. Ces problemes sont tous de la famille des biais de publications. Mais ceux ci ne sont pas spécifiques a la p-valeur. J'ajoute qu'ils se résolvent facilement grâce a la reproduction des études, qui est un passage obligé de la science moderne. Il est bien connu qu'une etude toute seule non reproduite ne constitue pas un resultat fiable. Il juste avoir conscience de çà.
@@thierrymastrosimone5408 La "reproduction des études" n'est pas si facile. D'abord, il faut en avoir les moyens, puis, il faut disposer des mêmes données. Si les données sont la propriété de celui qui a fait l'étude, pourquoi comme il a été dit dans la science climatique, "je vous donnerai mes données pour que vous puissiez détruire mon travail ?". Et il ne faut pas plus faire confiance à 2 études faites par 2 équipes différentes avec des données différentes qui aboutissent aux mêmes résultats : il peut s'agit ici aussi d'un biais, où une étude cherche le soutien de l'autre...
@@poiu17472 Hello. Quand on parle de reproduction, c'est de reproduction des conclusions d'une etudes par un autre laboratoire, qui va *refaire* les memes experiences, pour justement verifier que ce qu'il observe lui permet d'arriver a la meme conclusion que le laboratoire initial. C'est donc ce que vous dites dans votre 2e phrase. La crise de la reproductibilite (fr.wikipedia.org/wiki/Crise_de_la_reproductibilit%C3%A9) montre que ce mecanisme permet de faire bien plus confiance a une etude reproduite qu'a une etude non reproduite.
Oui merci c'est bien ce qui me semblait. Le 5 me semble un peu différent tout de même, puisqu'en + on y transforme sans l'assumer une étude prospective en rétrospective.
Génial le coup des études sur le racisme des arbitres ! Comme d'habitude, je comprends pas tout à la vidéo mais je mets un pouce bleu car la petite partie que j'arrive à suivre m'enthousiasme.
Oui une hypothèse vrai va être rejetée un certain nombre de fois mais sur toute une littérature on aura tout de même de nombreuses études qui ne la rejetteront pas. Et puis il y a maintenant des outils méta-analytiques qui permettent de plus où moins faire de confirmer ou rejeter une hypothèse (méta-analyses qui se retrouvent de plus en plus dans des sciences telles que l'économie).
J'avoue trouver moi-même l'argument de Lé bizarre. Il suffit juste de comparer la fréquence des taux de résultats valides.
Cependant combiner avec le 3, ça devient un bon argument.
Sinon tous les autres points de critiques me semblent très pertinents. Et certain sont bien résumés par cette phrase que j'ai trouvé dans une méta-analyse:
“We all know from introspection that when we study an empirical question, we analyse the data till we are satisfied with the result. Reported results are thus the product of a stopping rule. We all want to believe that we stop when we have reached some approximation to the truth. However, what we believe to be the approximate truth is influenced by our priors.”
Doucouliagos, H., & Paldam, M. (2009). The aid effectiveness literature: The sad results of 40 years of research.
Ne serait-ce pas car nos cerveaux ne seraient pas conçus pour élaborer donnés après donnés un modèle du monde qui nous entoure mais plutôt de tester un modèle préexistant ?
En clair nous avons une vision déjà tt faite du monde mais nous mettons cette vision constamment à l'épreuve à coup de nouvelles données
Bonjour Lê,
Encore bravo pour cette vidéo ! Juste une remarque à propos du risque (alpha) d’un test. Alpha est un majorant du risque de rejeter H0 à tort. Et quand tu rejettes H0, tu es certain que le risque d’erreur est inférieur ou égal à alpha. De plus, dans les cas des tests styles Student, Corrélation,… où H0 est une hypothèse simple, il est difficile de croire que H0 est fausse (l’égalité parfaite n’existe pas dans le monde réel). Donc risque d'erreur nul quand on rejette H0. Vois-tu ce que je veux dire ?
Dans la recherche biomédicale existent des recommandations régulièrement mises à jour pour les différents types d’essais afin justement de contrôler au mieux les biais cités. Consort, starc, stard, remark... etc. Avec le temps la méthodologie des essais sur pubmed s’améliore même si ce n’est pas parfait encore. Je me permets de rajouter cet élément car parfois j’ai l’impression d’une diabolisation de la « méthode scientifique ». Ceci dit grâce à tes vidéos la prochaine génération de chercheurs sera plus vigilante à ces recommandations... enfin pour peu qu’il y ait encore des chercheurs dans 30 ans... autre débat
Vidéo super intéressante !
Concernant les personnes qui disent "La méthode scientifique d'aujourd'hui est la moins pire des méthodes", je pense qu'il faut comprendre "La méthode scientifique d'aujourd'hui est la moins pire des méthodes par rapport aux autres "méthodes" utilisées (mis à part le bayésianisme bien sûr :) ), notamment dans les pseudosciences", et non "La méthode scientifique d'aujourd'hui est la moins pire des méthodes possibles". A mon avis, la majorité de ces personnes sont d'accord sur le fait que la méthode scientifique est loin d'être parfaite et qu'elle est largement améliorable, elles signalent juste que cela reste de manière générale bien mieux que les discours pseudoscientifiques. Et il y a quand même pas mal de critères de la méthode scientifique qui ont été fructueux au cours de l'histoire : l'inférence à la meilleure explication, la cohérence entre nos connaissances, la simplicité, l'unification...
Très intéressant ! J'ajouterais que la p-value, aussi étrange que ça puisse paraître ne fait pas office de "valeur" en soit mis à part qu'elle nous autorise ou non à rejeter l'hypothèse nulle. Aussi il est assez courant de voir des gens s'exclamer après l'obtention d'un résultat significatif et ils oublient assez facilement d'ajouter à leur statistique inférentielle des statistiques dites descriptives.
Mon Dieu mais c'est affolant sur la pertinence de la science !
Génial, comme d'habitude!!!
Est ce que tu peux nous commenter le bac métropole qui va sortir. Je suis sure que t'as des méthodes ultra-efficaces pour résoudre toutes les questions en moins de 30 minutes. Ca m'intéresse de savoir comment les mathématiciens arrivent à résoudre des problèmes simples, qui sont déjà très compliqués pour moi.
Bonjour,
Je pense que "la méthode scientifique par p value" n'existe pas. Le test
d'hypothese reste un outil de la science inductive et non sa fin (entre parenthèses,
les intervalles de confiance offrant une meilleure surface de discussion sont
en général préférés aux p values) et une conclusion ne devrait et en pratique n'est
quasiment jamais soutenu par le seul franchissement d'un seuil statistique
mais lié à une discussion englobant les tailles d'effets et l'ensemble des connaissances empiriques et théoriques (incluant les autres études effectuées jusqu'alors). Une partie de la méthode scientifique réside en une articulation rationnelle de ces différents éléments.
De plus, je pense que si une méthode scientifique par p value existait, elle ressemblerait à la succession suivante de 5 étapes:
1. Formuler une ou quelques hypothèses
2. Mettre en place un protocole expérimental (ce qui inclus le nbre d'enchantillon)
3. Acquérir les données
4. Traiter les données
5. Tirer des conclusions concernant les hypothèses testées (et uniquement celle ci)
Tout le reste est de l'analyse dites exploratoire de laquelle aucun scientifique sérieux ne tirera d'elements *forts* d'argumentations.
Clairment le test d'hypothèse fréquentiste pose des problèmes d'ordre pratique et l'analyse Bayesienne offre de meilleures propriétés *théoriques* mais amalgamer la méthode scientifique à une liste de tout ce qu'il ne faut pas faire avec les p-values (et qui en pratique est rarement fait) me semble très contre-productif et aller à l'encontre de l'attitude que vous défendez (magnifiquement bien) par ailleurs.
J'ai rien compris à cette histoire de théorie rejeter une infinité de foi pourquoi le fait de répèter une expérience augmente les chances que la théorie soi rejeter sa me paraît magique ?
Super! 👍👍 décidément d’utilité publique.
Merci pour toutes ces vidéos....super
Merci beaucoup, je ne faisais pas confiance totalement au résultats incroyable de la science car je savais qu'il pouvais y avoir des travers, merci d'avoir clarifié certain points. Il est important qu'on continue d'améliorer la méthode scientifique et le système autour de façon général.
Petite question comme ça j'y ai pas trop réfléchit mais si on par du principe qu'une étude sur 100 (p-value de 1%) sera contradictoire avec le reste ou du moins aura des résultats inédits, ne serait-il pas possible de voir ces résultats dans les méta-analyse et du coup de reconnaitre que ces résultats sont "défectueux" en quelque sorte? Et donc des les ignorer en sachant qu'ils seront "faux"?
Je ne suis pas du tout un expert en statistique donc ne me tapez pas dessus x) de plus je n'ai guère réfléchis aux implications de ce que je viens de dire du coup s'il vous plait éclairez ma lanterne :p
Pour la maleabilité, ce serait bien que le chat sceptique nous explique ça en détail !
Quelque sait quelle est la musique qu'il utilise lors de ces feedbacks des vidéos précédentes? Je l'aime bien et j'aimerai la récupérer :) :)
La raison numéro 1 est intéressante. La numéro 2 est avant tout un problème méthodologique. On peut éventuellement reprocher à l'approche par p-value de ne pas permettre de déceler l'erreur si la description méthodologique n'est pas suffisamment claire, mais un chercheur ne devrait pas tomber de bonne foi dans ce piège. Encore faudrait-il qu'on apprenne son métier au chercheur. Les raisons suivantes sont avant tout liées au contexte qu'à la méthode. La communauté est très insatisfaite à ce sujet mais il est difficile de s'extraire du contexte actuel (notamment parce qu'il n'y a pas une alternative claire, parce que les autorités estiment qu'une mauvaise métrique vaut mieux que pas de métrique, parce que ne pas jouer le jeu est un risque pour le chercheur -- aurait-on atteint un équilibre ?) Je me réjouis de voir la suite des vidéos pour obtenir quelques réponses :-)
Ah oui, et je suis étonné que le fait que la méthode par p-value ne puisse pas répondre à toutes les questions, et pas seulement pour des raisons éthiques, n'ait pas été soulevé dans cette vidéo. Mais ça a peut être été dit ailleurs
Lê, que fais tu de la nécessité de reproduire les expériences et des méta analyse qui s'appuient sur un ensemble de recherches pour faire une synthèse ?
En médecine, le Cochrane est un exemple d'institut américain.qui cherche à déterminer la qualité des études scientifiques en question en publiant des méta analyses qui me semblent vraiment de bonne qualité.
En réalité, il semble que bcp de problèmes viennent du fait que la P-value n'est qu'un indicateur. Tomber sur un résultat statistiquement significatif ne devrait pas nous dire si une théorie doit être rejetée ou acceptée mais uniquement viser à augmenter la crédence que l'on a en cette théorie
Ce que j'en interpréte, dans le cas d'un grand nbre d'expériences, c'est qu'il faudrait plutôt passer par une "moyenne" de P-value (attention, je parle pas de la moyenne au sens statistique, c'est plus dans l'idée que j'en parle, en vrai j'y connais rien ^^) ou en gros notre crédence en la théorie devrait plutôt passer par le nombre de résultats statistiquement significatifs que l'on a obtenu plutôt que par "hop on a dépassé le seuil c'est bon on peut publier"
Dites moi ce que vous en pensez, histoire de voir si je dis pas trop de la merde;)
quand j'ai entendu que les 5 plus gros reproches pour la p-valeur arriveront la prochaine fois, j'ai bien ris. Je pense que l'un est le fait qu'une p-valeur supérieure à 5% ou le seuil choisi ne nous donne aucune indication sur la confiance à attribuer à l'hypothèse qu'elle soit vraie. Sinon j'ai l'impression que les critiques peuvent viser n'importe quelle méthode et pas juste la p-valeur. Si une étude dit autre chose que plusieurs autres, c'est certain que si on retient la seule étude qui met un résultat différent pose problème indépendamment de la méthode. Le travers 2 est vraiment caricatural. En fait, je trouve que les 5 critères peuvent se résumer dans un seul: "on veut montrer un résultat spectaculaire, on va donc faire l'étude pour montrer ce résultat". c'est certain que si l'on décide du résultat avant l'étude, cela pose problème. Ce n'est donc pas spécifique à la p-valeur qui n'est qu'un outil. Un point spécifique à la p-valeur est le choix du seuil, quand il est entre 1 et 5%, c'est vraiment arbitraire de dire ce que l'on fait de l'hypothèse à tester.
Excellent, merci
^___^ Merci Lê, les complotistes de tout bord seront ravis d'utiliser cette vidéo dans leurs intérets. ^^
Taire un élément pour éviter une mauvaise utilisation de celui-ci ou en parler pour faire avancer le schmilblick. Tel est la question :-)
très bonne vidéo, comme d'habitude . tu ne parles pas des conclusions avec très peu de données, par extension statistiques. mais je pense que c'est pour la prochaine fois
cest ça quon veut !
Merci
Impressionnant.
Yes, excellente vidéo ! J'imagine que ma question est passée à la trappe, je suis shadow ban depuis 1 mois sur TH-cam ... la réponse donnée à Aurel Ayrault répond en partie à ma question. Même si j'ai encore du mal à comprendre comment on formalise la p-value concrètement ?
Formellement, on considère une théorie T qui est une loi de probabilité sur l'ensemble Données. On construit alors une fonction Extrême : Données -> P(Données), qui a toute donnée D associe un sous-ensemble Extreme(D) de Données (pour être cohérent, on peut ajouter la condition que Extrême(Extrême(D)) = Extrême (D)).
La p-value d'une donnée D pour tester T est alors définie comme p = P[ Extrême(D) | T] (c'est-à-dire la mesure de l'ensemble Extrême(D) d'après la loi de probabilité T).
@@le_science4all Super merci pour ton explication ! :) ça me permet de comprendre le principe général ; du coup le choix des données influent nécessairement sur la preuve apportée à la théorie, ce que tu expliques dans ta vidéo comme un biais de sélection potentiel.
Bon bon bon, je me permets de faire un commentaire sur cette vidéo car je suis entrain de me taper toutes les vidéos sur l’infini que tu as réalisé et plus personnes ne les regarde pour lire mon commentaire. Petite question philosophique car du haut de mes 16 ans je n’ai pas les connaissances pour comprendre le langage formelle des fondations mathématiques bien qu’avec la relecture de tes épisodes hardcores et théories ensemblistes, je commence à m’y faire (sauf celle sur l’homotopy des types😬😭😂). Bref, j’essaie de trouver mon chemin dans tout ce grabuge de nouvelle théorie, théorie cachée, axiomes inutiles nous guidant a des paradoxes... et je me suis demandé si ces languages étaient vraiment au coeur des fondements de la mathématique puisque tout de même ce ne sont que des signes auxquels nous attribuons un sens logique. Si mon raisonnement est correct, nous pouvons par conséquent déduire donc que le réel fondement de la mathématique est bel et bien notre sens logique que nous portons et qui nous emmène à des paradoxes. Moi qui crois en une mathématique vraiment sous jacente à la réalité ne peut que se demander si notre sens logique est aussi logique que nous le croyons ; nous ne sommes pas omniscients et notre cerveau n’est pas infiniment complexe. Ainsi, faut il rejeter des paradoxes ? Qu’en est il des mathématiques pas si rigoureuse ? Comment mettre notre réel sens logique sur papier ? Existe-t-il qu’une seule mathématiques (référence au isomorphisme 😉) ? Tiens ça me rappelle ta vidéo «les mathématiques : inventions ou découvertes ?», peut être que la vie autre part à aussi formaliser une mathématique totalement différente. Dommage que l’on soit totalement bloqué par l’illusion et la subjectivité de notre cerveau. Cela pourrait être intéressant d’avoir d’autre point de vue. Enfin j’espère que quelqu’un a compris ce monologue intérieur philosophique (de toute manière je ne peut que m’attarder sur cet aspect puisque je ne suis pas assez compétent sur les autres...)
C'est pas du tout le sujet ici, mais sur le thème "mathématiques : invention ou découverte ?" et le thème (lié) du statut des paradoxes, il y a aussi d'autres bonnes vidéos de plusieurs youtubers : Monsieur Phi, Science Etonnante (vidéo sur Gödel)...
Ca c'est du teasing!!!
est-ce que dans la point 5 sur la malléabilité tu parles des variables instrumentales qui permettent de contenir un biais d'exogénéité d'une variable explicative ? en choisissant des variables qui nous seront subjectives dans ce cas l'étude pourrait être biaisé car on y rajoute de plus en plus de variables jusqu'à avoir une p-value publiable ?
Bon.... Je comprend rien....
_TRAVERS N°1_
Si j'ai un seuil à 1%, et si la théorie testée est vraie, ça veut dire que j'ai une chance sur 100 de la rejeter alors qu'elle est vraie, c'est à dire d'avoir un faux négatif.
Donc si les tests sont _"indépendants"_ (1:39) je peux donc prévoir que parmi 100 tests, je vais en moyenne avoir 1 faux négatif.
Pourquoi multiplie t il les probabilités entre elles ? C'est bien parce que justement elles ne sont PAS _"indépendantes"_ non ? En effet, si je pense à une séquence de tests l'un après l'autre et que je mesure le nombre de faux négatifs, alors je dois multiplier les probabilités. Et dans ce cas là, au bout de 459 tests, la probabilité que je n'ai eu aucun faux négatif est à 1%...
Mais en admettant que j'ai un, ou même dix faux négatifs au bout de 459 tests. Ca veut bien dire que dans 449 tests sur 459 je n'ai pas réfuter une vraie théorie... C'est plutôt pas mal non ?
_TRAVERS N°2_
Tu dis : _"une variante que subtile de ce phénomène et le fait de suivre la valeur de la p-value au fur et à mesure que les données s'accumulent"_
Mais tu as expliqué que la p-value était la vraisemblance des données sachant l'hypothèse nulle vraie... Donc pourquoi celle-ci changerait elle _"à mesure que les données s'accumulent"_ ?
Quelque soit la quantité de donnée que j'ai, la prédiction de l'hypothèse nulle ne change pas non ?
_TRAVERS N°3_
(Il ressemble au travers n°1) Si je fais 20 expériences et qu'au bout de la vingtième j'obtiens bien mon résultat inhabituel sous le seuil, quand je publie, je dois bien dire que j'ai du le faire 20 pour y arriver non ?
"Quand une mesure devient un objectif, elle cesse d'être une bonne mesure". C'est ce que vous voulez dire ici avec la p-value, mais ça n'est pas spécifique qu'à la p-value, n'est-ce pas ?
Non, c'est valable avec le PIB en économie par exemple
1) Disons qu'une théorie T0 vraie a 99% de chance de survivre au test. Des théories alternatives T1, T2 ou T3 fausses auront probablement beaucoup moins de chances d'y survivre. Ainsi, une méta-analyse comparant ces quatre théories conclura tout de même que T0 est la meilleure théorie pour le moment.
Et d'accord pour les autres points :)
A part bien sûr l'identité que tu fais entre fréquentisme et méthode scientifique, qui me semble épistémologiquement ou historiquement très discutable.
Souvenirs amers
la P-value pour la majorité des biologistes (de mon temps), c'est la probabilité que l'hypothèse testé soit vrai.
Travers 1: Quand j'ai expliqué le soucis de la p value (travers 1) à mon directeur de thèse (biologie, donc P value < 5%), il m'a regardé, haussé les épaules et m'a dis que j'avais rien compris aux statistiques.
Travers 2 : il me disait : " sélectionne les données qui font que ça valide bien tes tests..."
Travers 3 : refaire des expériences qui ont déjà été faite et qui n'ont rien donné de significatif, donc non publiées. Combien de conclusions sont omises, car jugées non utiles et qui vont faire perdre du temps à d'autres chercheurs
Travers 4 : P hacking, 20 expériences (pour 5% de p value), sauf que si ça réussit une fois, il faut la refaire 2 autres fois (et que ça soit positif à chaque fois), chose jamais faites en biologie (trop long/coûteux).
Travers 5 : je travaillais sur l'expression des gènes : "si ça ne marche pas pour les gènes cibles, regarde si ça affecte d'autres gènes et si ça peut être intéressant". Parmi, les 4000 autres gènes, forcement j'ai pu trouver des trucs intéressant, mais scientifiquement non valide...
En biologie, bien souvent la précision expérimentale (précision de concentration de solution, de pesée...) n'est pas pris en compte lors des calculs, car tend à rendre complexe le calcul et que ça tend à rejeter l'hypothèse.
j'ai préféré ne pas publier (des trucs bancals, mais avec P value
Ça me fait tristement plaisir de voir écris le fond de mes pensées dans un commentaires. Encore 1 an et j'ai finis. Pourquoi avoir fait un doc? Je voulais devenir prof, maintenant je veux seulement fuir loin de se monde...
@@HatorisFawst J'espère que tu trouveras ta voie dans laquelle tu seras heureux
En fait, j'ai réfléchi un peu, et je me dis que finalement ça rend l'ingénierie plus intéressante à mes yeux.
Je m'explique : on voit souvent l'ingénierie comme moins rigoureuse que la recherche, puisque le but des ingénieurs, c'est de maximiser la THUNE, contrairement aux chercheurs, moins bien payés mais beaucoup plus attachés à la description de la réalité du monde.
Sauf qu'en fait tout est là : les ingénieurs ont intérêt à ce que leurs conclusions soient vraies, pour que leurs prédictions marchent afin l'entreprise soient, enrichie, et les récompense en retour. Alors que les chercheurs, eux, ont intérêt à ce que leurs conclusions soient SENSATIONNELLES pour pouvoir survivre au milieu de la mer de publications.
Ainsi, l'ingénierie, pourrait être plus fiable que la recherche, du fait des incentives, malgré une méthode moins contrôlée. (Le souci étant qu'ils ne s'intéressent pas du tout au même sujets, et que donc, on aura de toute façon besoin des deux.)
Je me permets de reprendre la phrase : "Blâmez le jeu, pas les joueurs" ^^
Cool comme série de vidéos, j'espère te voir parler aussi de HARKing, Hypothesizing After The Results Are Known, l'autre fallacy avec le p-hacking!
www2.psych.ubc.ca/~schaller/528Readings/Kerr1998.pdf
Cette vidéo me fait penser à une publication où j'ai vraiment bêtement mis en lumière une correlation avec p
Pour le 2, je dirais que en cas d'arrêt prématuré à cause de cas extrême, il faut soit ne pas publier, soit préciser que le papier est soumis à des biais à cause d'arrêt prématuré. Cependant, le 2 n'est pas vraiment un argument contre la P-value mais contre une méthode lorsqu'on utilise une P-value.
C'est devenu quasiment obligatoire ! Et dans tous les domaines, ne pas le faire est de l'escroquerie scientifique pure et simple. Je ne comprends pas pourquoi on met ça en lien avec la p-value.
Je vous cite : "ça m'exaspère d'entendre des scientifiques dire que la méthode scientifique d'aujourd'hui est la moins pire". Mais n'est-ce pas vrai (même si ça n'empêche pas de chercher mieux) ?!
J'allais poster exactement le même commenaire. Je pense effectivement que la méthode scientifique actuelle est la moins mauvaise de toutes les méthodes visant à produire de la connaissance. Par contre, je pense tout autant que cette méthode sera un jour dépassée.
@@hrc9983 et dépasser une méthode pour en trouver une meilleure EST une démarche scientifique.
Ca m'a fait tiquer aussi, elle est pour moi effectivement la moins pire que l'on connaisse aujourd'hui. Et je ne pense pas que cela minimise les progrès qu'il reste a faire, au contraire il me semble que cela met en exergue ces problèmes: "Regardez tout les défauts qu'a cette méthode que l'on considère comme la meilleure, il faut vraiment améliorer ca"
J'allais dire la même chose aussi. A moins qu'une meilleure méthode que la p-value ait été mise au point, mais ne soit pas encore répandue ?
Je ne pense pas que la critique porte sur ce constat en tant que tel mais plutôt sur le fait que certains s'arrêtent à ce constat (et empêche ainsi une expérience de pensée qui leur serait bénéfique) .
Au final, à part pour le travers n°1, ce n'est pas la p-value que vous critiquez, mais son détournement. Non ?
Guillaume Limousin oui mais c’est normal car son contournement est le problème numéro 1
Le fait qu'une telle application de la méthode scientifique rende le détournement possible est problématique. Le manque de financement, le système par publication etc ... incitent en plus aux détournements, pour ne rien arranger
@@blueeyedwolf4175 Cela renvoie à un débat plus large : comment inciter à un objectif (et donc fixer nécessairement des critères) sans que ces critères finissent par détourner de l'objectif ? Ca ne concerne pas que la recherche et les publications. Lê en parlait dans une vidéo de la série sur l'intelligence artificielle (qui était en fait beaucoup une série sur la mesure et les stats).
Bonjour,
Il me semble qu'en sciences on ne conclut à des a la forte plosibilitée d'une hypothèse une fois que les méta-analises convergent vers un consensus. Et ces critiques sont surtout applicables aux articles qui prouvent pas grand-chose mais qui indique des pistes non ?
La science prend du temps.
Je ne crois aux statistiques que lorsque je les ai moi-même falsifiées. - Winston Churchill
Effectivement dans ce top 5 on a une vraie redondance dans les biais induits par ... une multiplication des tests.
J’ai beaucoup apprécié la réplique à « c’est le moins mauvais système qu’on a donc il faut le garder »
(Tu as dit « moins pire » mais pardonnons ce barbarisme 😁)
Cette réflexion fonctionne également pour les systèmes politiques pour lesquels on nous ressort toujours la démocratie et la citation de Churchill comme étant le Saint Graal alors que l’honnêteté intellectuelle devrait plutôt pousser à chercher un système politique moins défaillant voire meilleur, qui sait? Tout en conservant les libertés individuelles.
Tu m'as ruiné le morale ;-)
Pareil, si j'étais sur le point de devenir chercheur, j'aurais totalement baissé les bras. Heureusement, je suis en ingénierie, et je peux assumer pleinement de mettre mes compétences au service du Grand Capital sans avoir besoin de faire de p-hacking, et sans dégrader l'état de la connaissance humaine. Ouf ! 😰
13:20 : seulement 1 étude. La seconde (la plus à droite sur le graphe) trouve un résultats très important mais non statistiquement significatif (ils ont intervals de confiance énormes).
Comment filtrer ces études ?
j'ai peur que des gens utilisent cette vidéo comme argument contre la science :/
Seb16120 c’est qu’ils ne l’ont pas compris et sont stupides.
En revanche, si c’est pour discuter la certitude d’études, sans nier qu’elle pourrait être vraies, ils peuvent
La mauvaise science fait plus de mal à la science que sa critique. Pointer du doigt les limites d'une méthode érigée en dogme pour justifier ce qui s'apparente à de la pseudo-science est donc salutaire.
Et si certains veulent y voir une raison de nier toute science, et bien tant pis : ils auraient trouvé un autre prétexte de toute façon.
C'est marrant, certains disaient pareil à propos de dieu quand on a commencer à affirmer que la terre était sphérique.
J'ai l'impression qu'on utilise ce genre de phrase à chaque fois qu'une croyance est remise en question lol
QUESTION : Merci beaucoup Lê, mais alors, moi qui débat avec des climato-dénialiste, qui précisément n'ont pas confiance dans le système scientifique, qui, en plus des biais que tu cites pourrait très bien être manipulé par l'argent ... est-ce qu'il y a un argument qui permet d'être relativement sûr que le "consensus" des climatologues sur le réchauffement en est bien un ?
Question subsidiaire : est-ce que ces travers font que des publications ici ou la passent sous le radar (et un médicament inefficace est mis en circulation mais ça ne remet pas en cause l'ensemble), ou bien as-t-on des effets systémique ?
@@seb9739 Oui c'est précisément le sens de ma question : peut-on s'assurer qu'il n'y a pas d'effets systémiques ? A priori moi, je ne sais pas répondre à cette question.
J'ai un haut niveau de confiance sur les science "dures", par contre, presque aucun sur les sciences "sociales" (particulièrement en France) et, je sais qu'il y a une influence du champ social sur la biologie par exemple qui biaise les choses au niveau systémique.
Le climat étant une science "jeûne" et difficile, je ne sais pas trop ou ça se classe car il y a des énormes enjeux derrière, et donc potentiellement des biais.
En tout cas, l'argument principal des climato-dénisaliste c'est de dire que ce champ de la science a été trop influencé par la politique.
Hors, le GIEC c'est précisément un outil "entre les 2" de synthèse scientifique pour les politiques. Mais derrière le GIEC il a des crédits alloués à la recherche, donc du politique. Comment s'assurer que les recherches climatosceptiques ne sont pas simplement non financées et étouffées ?
@@seb9739 difficile dans le sens ou on parle d'un système non linéaire, chaotique. On commence à avoir quelques outils, mais c'est récent (années 70 en gros). Il y a beaucoup de variables, les modèles sont loin d'être parfaits (et c'est un reproche que je lis souvent "les modèles ne marchent pas). Jeûne, ben le premier "climatologue" officiel ça date de quand ? ça ne doit pas avoir plus de 50 ans, non ?
Du coup, oui, merci pour l'argument qu'il y a de nombreux biais "anti-réchauffiste" (je ne penses pas à le dire mais c'est évident). Est-ce qu'on aurait des chiffres ou des études la dessus ? ça me semble un bon angle d'attaque.
@@seb9739 merci. Pour les climatologues, moi je parle d'un gus dont c'est le boulot officiel dans une université. Que les gens s'intéressent au climat, oui ... ce n'est pas nouveau.
Je croyais que le consensus était assez récent. Mais il est vrai que c'est le consensus sur l'URGENCE qui est récent, peut-être que les climatologues sont d'accord sur le réchauffement anthropique depuis bien avant. Je vais essayer de trouver des sources. Al Gore à fait connaître le sujet du grand public, mais il a aussi créé le climatoscepticisme par contre coup parce qu'il a dit pas mal d'âneries.
@@yoananda9 La climatologie moderne s'est développée grosso-modo à partir de l'après-guerre. Ce n'est donc pas si jeune. D'après ce que j'ai lu, c'est la volonté de mettre au point des systèmes de guidages de missiles par infrarouge qui a conduit à un à un calcul précis du transfert radiatif dans l'atmosphère.
Pour ce qui est de l'influence de la politique sur la science du climat, c'est juste ridicule. Les écologistes ne dirigent aucun des gouvernements mondiaux(ils sont juste parfois membres minoritaires de coalitions), et les autres motivations que certains envisagent pour une telle manipulation relèvent de théories de la conspiration totalement délirantes comme: "c'est pour empêcher les pays pauvres de se développer" ou encore "c'est pour instaurer des impôts" ou également "c'est pour organiser des marchés spéculatifs juteux". C'est stupide et les climato-s(c)eptiques montrent juste là qu'ils sont prêts à utiliser n'importe quel argument aussi foireux soit-il pour rejeter des conclusions qui ne leur plaisent pas.
En résumé la p-valeur est une méthode de preuve, et non une preuve de méthode.
Ce genre de commentaires ^^
Je suis déçu, il y a beaucoup de mauvais points dans cette vidéo: tu ne parle pas de la correction pour tests multiples ou des méta-analyses qui sont des moyens de corriger ton argument binomial, et les équipes qui ont analysées les arbitrages de football ont bizarrement tous utilisés une méthode différente dont certaines qui ne prennent en compte aucun facteur de confusion ce qui n'est clairement pas une méthode valide pour analyser ce jeux de données.
* Travers n°1 ("Toute hypothèse vraie sera rejetée une infinité de fois") : je me rends compte encore une fois de l'étendue de mon ignorance en réalisant que les méta-analyses ne sont pas forcément meilleures si elles ont tendance à être "sur-exigeantes", et qu'il vaut mieux alors comparer les études entre elles selon différents critères. Mais est-ce vraiment le plus grave ?
* Travers n°2 ("Invalidité des arrêts prématurés") : ce truc est connu par tous les scientifiques et n'est pas lié qu'à la p-value. S'arrêter en cours de route est un biais d'une telle évidence. Vous dites "personne ne pourra se douter de rien" : pour le lecteur oui mais pas pour l'auteur, qui est alors un escroc ni plus ni moins !
* Travers n°3 et 4 ("Biais de publication" et "p-hacking") : TOUTE ETUDE DEVRAIT ETRE PUBLIEE (qu'elle soit négative ou positive). Là est un problème autrement plus grand que le travers n°1 par exemple. Donc ce n'est pas la p-value qui est en cause, mais son utilisation.
* Travers n°5 ("Malléabilité") : c'est aussi très connu, et pas lié à la p-value en tant que telle. Il est souvent facile, parfois difficile, de déceler que le critère utilisé est bidon ou anecdotique. Il est surtout fréquent de ne pas suffisamment examiner dans le détail le/les critères. Exemple : "Trifouilly-les-oies est la ville la plus ensoleillée de France". Eh bien je peux vous assurer que, selon le critère que vous prenez, vous finirez par en trouver un qui fait que c'est vrai dans votre ville. Mais si on examine bien le critère, on peut se dire qu'il correspond ou pas à ce qu'on attend. C'est vrai aussi en médecine, pour un médicament.
Pour le travers 2, il peut être éthique de s'arrêter en cours de route suivant les résultats. Seulement, un calcul bayésien peut démêler ce biais, tandis que la vraisemblance des données seules, sans rajouter l'information "sachant que l'on a du s'arrêter a cause de ..." peuvent conduire a une mauvaise interpretation.
Pour le travers 3, c'est sur que c'est surtout un biais de publication ! Mais aussi c'est parce qu'on s'autorise a publier des résultats partiels, car la p-value ou vraisemblance des données peut être prise experience par experience. Néanmoins, si on s'en tenait a une approche plus bayésienne (voire honnête), il faudrait a minima dire quelles ont été les autres experiences et tests menés avant de tomber sur le surprenant résultat en question, et si possible donner la probabilité de tomber sur un résultat surprenant ou moins dans tout le jeu de données, en gros la p-value de l'experience entière.
@@cryme5 on en revient à une des règles : publier toutes les études, même négatives. ce n'est pas lié à la p-value.
toute cette énergie utilisée en oubliant le premier principe de la statistique: s'il ya 99 % de chance que cela soit faux il est néanmoins possible que le 1% soit vrai et inversement
et dans la dimension de la réalité d'un progrès possible : il niche très souvent dans le 1% qu'on n'avait pas compris et donc sous évalué ce qui explique son faible score parce qu'on n'avait pas ajusté le cadre de l'expérience d'une façon valorisante pour le 1% qui du coup sous un autre angle prend une toute autre valeur
Qui a remarqué que Lê adore le ski et qu’il en a fait récemment ???
Non il fait de la randonnée en montagne mais porte tout de même de grosse lunette ^^
Louis en effet, en effet...
OK, aucun outil n'est parfait, surtout face à la complexité du monde. Mais ce n'est pas une raison pour rejeter les méthodes scientifiques, je veux dire ce n'est pas une raison pour accepter ces faiblesses comme justification d'affirmations pseudo-scientifiques prétendûment trouvées dans un Grand Livre qui serait la Parole de Dieu .
Bonjour, je rebondis sur les trois premières minutes :
Si une théorie T est vraie, qu'on fixe le seuil à 1%, et qu'on effectue un grand nombre de tests, alors environ 1% des tests rejetteront T.
Peut-on en conclure, à l'inverse, que si environ 1% des tests (nombreux) effectués rejettent une théorie T pour laquelle on avait fixé un seuil de 1%... alors c'est un argument plutôt convaincant de la validité de T !?
Concernant les travers 1 et 2, je ne comprends pas en quoi un test randomisé sur un échantillon de très grande taille ne suffit pas à les corriger. On peut discuter des notion de "grande taille" ou de "randomisation", éventuellement, mais si on admet qu'il est possible de travailler sou ces conditions, je ne vois pas pourquoi la p-value perdrait de sa pertinence.
Le problème c'est qu'on n'a pas toujours les moyens ou le temps d'avoir un échantillon de grande taille. Pour moi, il faudrait faire plus de méta-analyses, mais pour être rigoureux, il faudrait que les négatifs soient aussi publiés. Parce que si seulement 10 études sur 100 prouvent qu'un effet est significatif, alors l'effet significatif est peu probable.
Nous sommes tous " Docteurs en "Biais appliqués"", pauvre p-value... et pauvre de nous !
Bon, c'est bien tout ça. Mais on attend toujours de savoir comment le bayésianisme nous permet d'augmenter l'étendue de nos connaissances mieux que le fréquentisme, plutôt que seulement nous faire prendre conscience de l'étendue de notre ignorance. Nous sommes impatients.
Si vous considérez vrais les trois axiomes suivants:
- il existe une réalité objective (c'est-à-dire que la réalité peut être décrite comme un ensemble d'événements "vrais" ou "faux", à l'opposé d'une réalité définie par les croyances du sujet par exemple);
- la vision que nous en avons est subjective (c'est-à-dire que nous ne voyons pas le réel tel quel mais à travers nos propres filtres et outils, et par conséquent nous ne pouvons qu'estimer la crédibilité d'un événement à partir de notre interprétation propre, donc attribuer une probabilité aux événements du réel);
- la vision que nous avons du réel est dépendante des informations que nous avons à son sujet (et donc nous attribuons la probabilité d'un événement SACHANT d'autres événements, c'est-à-dire en prenant en compte la probabilité attribuée antérieurement à ces autres événements).....
... alors il n'y a pas le choix, que vous soyez un humain, un ordinateur ou une chèvre, ce que vous savez, vous le savez grâce aux probabilités conditionnelles et à la formule de Bayes (raison pour laquelle le livre de Lê s'appelle "LA formule du savoir").
Comme celle-ci est la plupart du temps inappliquable, en pratique on devrait se contenter d'utiliser des méthodes permettant d'en faire une approximation. Pas sûr que le fréquentisme soit nécessairement la meilleure (à la rigueur il me semble qu' on peut voir ce dernier comme un calcul de la formule de Bayes au voisinage d'un maximum de crédence dont on forcerait la stabilité arbitrairement). Mais le bayésianisme ouvre la porte à des tas d'autres méthodes dont on jugera la pertinence différemment selon le sujet étudié.
@@cyrlav7748 Oui, bon, c'est bien beau et philosophique, tout ça (Monsieur Phi l'explique très bien dans ses vidéos). Et donc ma question reste la même et sans réponse depuis 5 épisodes : et après, on fait quoi, concrètement ?! Quelles sont les méthodes concrètes du bayésianisme, applicables en pratique, pour étendre nos connaissances et pas seulement nous faire prendre conscience de l'étendue de notre ignorance ?
Je ne connais pas de "méthode bayésienne" universelle concrète, mais il s'agit de toutes manières de calculer cette fichue fomule de Bayes. Pour la médecine, je suis pas sûr que ça soit particulièrement pertinent. Mais prenons l'écologie ou la macroéconomie, intuitivement je pense que des IA bayésiennes seraient plus pertinentes que des p-values pour faire les méta-analyses. Il faudrait jouer avec de très nombreux modèles théoriques en cherchant pour chacun d'entre eux à faire un maximum de prédictions, sans avoir un modèle "favori" et sans les confronter à des données. Parallèlement, collecter de très nombreuses données sans lien avec un modèle à valider ou réfuter (même quitte à chercher ces données au hasard...). L'IA se chargerait ensuite de calculer la vraisemblance des données selon chacun des modèles, et de calculer ensuite la crédence de chacun des modèles. J'imagine que ça supposerait aussi qu'il n'y ait plus de système de publication, mais seulement des méta-analyses mondiales.
@Guillaume Limousin : Il me semble que l’algorithme qui a permis de traiter les données de l'EHT pour nous offrir récemment la première image d'un trou noir est un algorithme bayésien (Wikipédia : en.wikipedia.org/wiki/CHIRP_(algorithm) ). On peut aussi ajouter que de ce que j'ai compris du dernier épisode en date de "Probablement?" avec Sébastien Carassou, ce dernier a utilisé une méthode Bayésienne durant sa thèse (link : th-cam.com/video/i7BIwI9f7PU/w-d-xo.html ). Je suis loin d'être expert, mais cela semble indiquer que le bayésianisme à des applications pratiques permettant d'étendre nos connaissances. Mais je suis d'accord sur le fait qu'il me tarde que cette série aborde le sujet des applications pratiques.
@@Grievous_Tone il y en a d'autres décrites ici: en.m.wikipedia.org/wiki/Bayesian_inference
Ça doit être au programme pour de prochains épisodes...
A part pour le premier cas je ne comprends en quoi la p-value est à l'origine de ces travers. L'organisation de la recherche le "publish or perish", des erreurs méthodologiques me semblent davantage à mettre en cause. Multiplier les tests statistiques, arrêter les expériences dès qu'on a un bon résultat ou encore procéder à posteriori à des traitements statistiques , est-ce inhérent à la p-value?
Quant au premier cas, je ne comprends pas non plus pourquoi une méta-analyse devrait conduire à dire que toute hypotjèse devrait être rejeter. Je pensais que dans une méta-analyse, justement, on prenait en compte le fait que certaines études donnent des résultats significatifs par pur hasard.
ah ben il a déjà répondu à ma question sur la vidéo précédente. ( science 4 all réfléchi plus vite que la lumière? lol) ou alors c'est que je regarde ses vidéos en retard
Il y a une chose que je ne comprends pas... Si on obtient un certain pourcentage de rejet sur une étude répété un grand nombre de fois; N'est-ce pas là une donnée plus qu’intéressante sur la validité de l'étude en question ? Un genre de "méta-étude" où l'on peut comparer justement la P-Value et le pourcentage de rejet ? Intuitivement, j'aurais bien envie d'accorder une plus grande confiance envers la validité de l'étude si la P-Value et le pourcentage de rejet sont du même ordre de grandeur... Est-ce que je fais une erreur en pensant ça ?
Non, je ne pense pas que ce soit une erreur. D'après ce que j'en ai compris, c'est plus ou moins le principe des méta-analyses.
Tiens la malléabilisé, ça me fait sérieusement penser aux innombrables études du glyphosate non statistiquement significatives, qui ont pas passé la barrière des médias, excepté le CIRC qui lui était étonnament plus significatif que les autres...
Il aurait été important de préciser que les critiques que tu formules ne remettent pas en cause la valeur de la méthode, mais la mauvaise utilisation qui peut en être faite. D'autant que les pré-requis à la validité de l'emploi de telles méthodes exclues _de facto_ l'essentielle de ces mauvaises utilisation (déterminer l'intégralité du protocole (y compris nombre d' "evènements", les tests à soumettre à l'échantillon, etc.) AVANT sa mise en application ; avoir un et *un seul* critère de jugement principal ; etc.).
Enfin ... sauf la première critique qui ne me parait même pas avoir de sens : certes si on a un "petit p" à 0,01 on a 1% de chance de rejeter par erreur une hypothèse vraie ... mais on ne rejette pas une hypothèse dés lors qu' *une unique* étude semble ainsi la réfuter ! _A fortiori_ s'il s'avère qu'à côté de cette étude, 99 autres la conforte ... Dés lors on n'est même pas dans la critique liée à une mauvaise utilisation, mais simplement dans une _mauvaise compréhension_ .
Hola! subtítulos en español please :)
La méthode scientifique d’aujourd’hui est là moins pire des méthodes aujourd’hui
Je vois pas en quoi ce serait dommage de dire ça
Comme la fission nucléaire est la moins pire des méthodes pour générer de l’énergie propre aujourd’hui
Jusqu’à ce qu’on ai la fusion
Et même une dois ce progrès technique atteint, on cherchera encore à réduire les perte
Quoi !? On m'aurait menti ?
Si j'étais sur le point de devenir chercheur, cette vidéo m'aurait totalement découragé. Heureusement, je suis en ingénierie, et je peux assumer pleinement de mettre mes compétences au service du Grand Capital sans avoir besoin de faire de p-hacking, et sans dégrader l'état de la connaissance humaine. Ouf ! 😰
Mais l'ingénierie ne découle-t-elle pas des travaux des chercheurs ? Parce que si je devais donner une définition d'ingénieur, ce serait quelque chose comme "le gars qui cherche à mettre en application concrète les découvertes scientifiques" :v
@@Raysenel Aaaaah non, ou plutôt oui mais pas plus que les autres chercheurs. En fait les ingénieurs (du moins ceux de recherche et développement) font aussi de la recherche. L'innovation, c'est leur domaine.
- Les chercheurs font de la recherche *fondamentale* , c'est-à-dire qu'ils font de la recherche sur un sujet sur lequel il n'y a pas d'application a priori, pour élargir d'état de la connaissance, parfois en espérant tomber sur quelque chose qui a une application pratique. Ils sont donc logiquement dans le public. (d'où les problèmes de financement et celui du "publish or perish", le critère étant que leurs découvertes soient intéressantes pour les revues de publication)
- Les ingénieurs font de la recherche *appliquée* , c'est-à-dire qu'ils recherchent sur un domaine sur lequel ils savent ou soupçonnent qu'il y a une application pratique qu'ils visent à exploiter. Le financement vient donc d'entreprises bien décidées à exploiter le filon de l'application pratique de la recherche, et les ingénieurs sont donc naturellement payés par le privé. (le critère étant donc l'utilité de leurs découvertes et l'argent que ça peut rapporter)
C'est comme ça d'ailleurs que les ingénieurs n'ont presque jamais de brevet à déposer, puisque si ils découvrent quelque chose de révolutionnaire pendant leurs heures de travail, donc pendant qu'ils sont payés par l'entreprise, le mérite de la découverte (aux yeux de la loi) est attribué à l'entreprise, et c'est elle qui dépose le brevet.
@@weak7897 Pourtant, l'on peut être chercheur en mathématiques appliquées, non ?
@@Raysenel Bien sûr ! Les chercheurs peuvent aussi faire de la recherche appliquée, mais c'est plus rare. Pour faire ça, tu seras beaucoup mieux payé dans le privé. Surtout concernant les mathématiques appliqués à la finance. Les ingénieurs qui s'y orientent sont les plus grassement payés. Si tu es un matheux talentueux, tu peux te faire des co*uilles en or ^^ (à condition d'avoir un diplôme à la hauteur)
Il ne faut pas confondre les statistiques avec la façon de penser dite "méthode scientifique" ; cette dernière est fondée sur l'observation des faits et une interpretation LOGIQUE des faits. La condition "être statisticien" n'est absolument pas suffisante pour être un scientifique ! Et l'on peut être des scientifiques sans connaître "grande chose" des statistiques.
Toute personne qui adapte ses croyances aux faits (la *realité*) est un scientifique.
Toute personne qui adapte les faits à ses croyances ne l'est pas.
La méthode par p-value a surtout un problème de violation du principe de vraisemblance.
Mais du coup, avec le p-hacking, est-ce qu'un géant de l'industrie pétrolière pourrait, avec assez d'argent, se payer une équipe de chercheurs pour "prouver significativement" que le réchauffement climatique n'est pas dû aux activités humaines ?
La formule "haïssez le jeu, pas les joueurs" a des effets non souhaitables à mon sens. Elle pousse à la faute en dédouanant le joueur des conséquences de ses actes.
Le meilleur outil pour faire parler les données c'est le revolver
Si une étude sur 100 rejette une théorie pour une p-value = 0.01 il faut rejeter la théorie définitivement ? Cela parait étrange
What !
Mais du coup, le nombre de doctorants (en plus du manque de budget) est un problème en soi ? Ca semble contre-intuitif, non ?
Ca dépend de la morale et pour qui.
Pour les chercheurs déjà en place, un nombre de doctorants plus important, leur permet d'acquérir publication et notoriété, donc plus de salaire (perso) et plus de financement (pour l'équipe et satisfaction perso).
Pour le doctorant, le plus apte et le plus chanceux survie, (comme publier un truc dans Science) et essaye de se hisser à un poste après X post doc. Pour les rebus, qui s'en inquiète ? qui va s'inquiéter des "déchets" ?
Je peux dire que la recherche est devenue similaire au monde industriel.
Sur ma promo de master II biologie d'il y a 13ans (on est âgé maintenant de 35ans), 15 sont entrées en doctorat, 6 continues dans la recherche en tant que post doc, 1 en poste de chercheur (depuis cette année). Pour les autres, métiers divers et variés.
Je comprends pas le raisonnement qui a mené au travers 1. Avec une p-valeur > 0, il y aura bien sur un moment ou une etude va conclure a tord que l'hypothese nulle est fausse.
Maintenant si on fait une meta analyse, on va agréger les données de toutes les études pour recalculer une p-valeur, et on ne va pas tomber dans le travers 1.
*Parle de la statistique « les femmes gagnent 25% moin que les hommes »*😁😁😁👍👍👍👍
Merci de démolir ce mythe scandaleux et de rétablir la vraie différence bien moindre si ce n’est nulle ou négative (retraite espérance de vie etc)
Avec ta qualité d’argumentation habituelle.
Enfin... si tu n’as pas peur de sortir des vérités non politiquement correctes...
Et qui pourrais t’en blâmer.
Merci 😁
Mais une étude ne comprend-t-elle pas tout ce qui a été mis en œuvre pour trouver le moindre résultat ? Le P-hacking (qui j'ai l'impression englobe aussi les autres problèmes) consiste en fait à dissimuler une partie des résultats non ? Ce que bannit la méthode scientifique.
Parce que sinon on sait depuis longtemps que les scientifiques ont des biais de confirmation ou autres conflits d’intérêts qui pousse au P-hacking, c'est arrivé, ça arrivera encore.
En fait dès qu'il y a de forts enjeux économiques personnellement, je ne fais plus trop confiance en la méthode scientifique, parce que la probabilité du conflit d’intérêt interfère trop, j'ajuste donc la p-valeur de manière totalement arbitraire, mais que j'estime plus fiable. C'est je pense ce que tu entendais par science bisounours.
Il suffit de ne considérer que les études qui ont étées reproduites pour résoudre ces problèmes, non ?
8:06 C'est pas très rassurant ça. Ça voudrait dire que pour pouvoir faire de la science, il ne faut pas trop appliquer la science. Gros paradoxe.
Il suffit de 20 expériences randomisées avec 5% de chance de rejeter l'hypothèse pour avoir une théorie publiable, vraiment ? C'est quoi ces stats ? Je sais que la stats fréquentiste c'est pas trop ton truc mais quand même :-)
(Bon, je pense qu'il s'agit d'un léger raccourci de langage que j'ai très bien compris)
ton espérence en effectuant 20 études est de 1. mieux comme ça ?
J'ai un truc qui me chiffonne depuis le début de tes vidéos bayesiennes... Tu attribues des liens probabilistes entre des événements qui ne sont pas liable... Le résultat statistique de rejet d'une théorie vraie n'est pas de nx1% mais de 1% à chaque essai... Car la recherche A n'a pas d'influence sur la recherche B de la même théorie
first !
Ah nooon
J'arrive trop tard
tg
@@gedeongesnouin4554 no rage de mon firstage