Je suis très heureux que mon idée t’aie inspiré. Je ne suis pas professeur mais maître ce conférences, ce qui est un grade inférieur à l’université :-). Je suis très content aussi que tu proposes un moyen pratique de mettre en œuvre cette idée. J’ai fait un essai qui a consisté à demander aux étudiants de « miser » un certain nombre de points sur leur réponses. Par exemple, pour une question à 2 points, ils pouvaient miser les deux points s’ils étaient sûrs de leur réponse, mais pouvaient aussi miser 1 point ou même 0. Si leur réponse était juste, ils gagnaient leur mise, sinon ils la perdaient. Il s’agissait d’une expérimentation non officielle qui ne comptait pas pour leur note du semestre. En pratique, j’ai obtenu presque autant de scores négatifs que de scores positifs peut être parce-que les étudiants ont préféré parier gros quitte à prendre un risque. Il y a un champ expérimental très intéressant à explorer avec ce genre d’outil, y compris peut-être dans le domaine de la psychologie. Lors d’expérimentations (non Bayésiennes) avec des boitiers interactifs menées pendant une année avec des étudiants de niveau Bac+3 à bac+5, dans lesquelles je proposais toujours une réponse « je ne sais pas » à chaque question posée, j’avais constaté qu’il y avait toujours plus de réponses fausses que de réponses « je ne sais pas ». J’aime bien ton approche et je suis enthousiaste à l’idée de l’essayer, mais je me demande comment, en l’état actuel des usages et habitudes, elle pourrait être perçue par les organes de gouvernance, et si elle pourrait choquer certains enseignants. Mais ce qui me parait être un argument solide, c’est qu’au final on récupère plus d’information qu’avec un QCM classique.
on assiste ici à ce qu'Internet peut offrir de mieux, encore merci pour votre idée, perso à peine Lê avait commencé à décrire le concept lors d'une pause déjeuner j'ai sauté d'enthousiasme en voyant toutes opportunités que ça offre, vivement l'implémentation et les nouvelles générations qui seront façonnées par ces nouvelles formes d'examination et qui seront probablement meilleures que les nôtres.
Il y a une dizaine d'année on avait expérimenté un système très proche (dans le cadre de la thèse d'un collègue : www.lip6.fr/actualite/personnes-fiche.php?ident=D562). Par contre on avait expérimenté avec des collégiens et la démarche n'était pas forcément facile à faire passer...
@@metalvinze Oui, c’est bien la même idée, et ça ne m’étonne pas que quelqu’un l’aie eu bien avant moi, et peut être que d’autres l’ont eue encore avant, car cette variation du QCM classique est somme toute assez naturelle. Nous sommes noyés dans une telle masse d’information qu’il est très difficile de savoir si une idée, un concept, un produit ont déjà été inventés, parce qu’on ne sait pas comment chercher et que les auteurs utilisent souvent des mots très différents pour présenter leurs découvertes. Je suis sans cesse confronté à ce problème dans mon activité de recherche. Un jour j’ai trouvé un truc élégant que j’ai écrit dans un article intitulé « A propos de la puissance d’expression de la propagation unitaire ». Or ce que j’avais (re)découvert était déjà publié sous le titre « Complexité de circuits et décomposition de contraintes globales ». Les mots sont tous différents et pourtant il s’agissait quasiment du même contenu. Aucun des re-lecteurs de mon papier ne s’en était aperçu. Le papier avait été rejeté pour d’autres raison. J’ai fini par me rendre compte de l’antériorité en faisant des recherches sur d’autres mots clés. Pour beaucoup de découvertes sans grandes difficultés techniques, notamment des algorithmes, il est souvent plus facile de réinventer une solution que d’en trouver une déjà publiée parmi les milliards de documents indexés par les moteurs de recherche du WEB. Comment organiser les connaissance pour les rendre plus facile à trouver ? C’est un vrai problème qui est encore, je pense, largement ouvert. La solution la plus fiable à l’heure actuelle est de mettre la main sur un expert humain du domaine concerné et de lui poser la question ! Mais ce n’est pas efficace à 100%.
@@ElMahdiELMHAMDI Il y a dans le domaine de l’évaluation des compétences une marge considérable de progression. En France, nous sommes friands des notes chiffrées mais est-on capable de donner un sens à ces notes ? Dans nos examens, la vitesse d’exécution des exercices proposés est souvent déterminante pour la note. Mais est-ce si important que cela en pratique ? Si un avion tombe dans la mer en raison d’une erreur d’algorithme, se demande-t-on si l’ingénieur qui l’a conçu a été assez rapide ? Tout comme dans le domaine des transmission des compétences et des savoir, j’ai l’impression que nos pratiques pédagogiques peuvent être largement améliorées. Je suis dans une démarche permanente d’innovation et mes méthodes d’enseignement et d’évaluation actuelles sont complètement différentes de ce que je faisais il y a 15 ans et de ce que j’ai vu lorsque j’étais étudiant : gamification, pédagogie par badge, droit à l’erreur… Et je pense aussi qu’il faut rendre accessibles les ressources pédagogiques permettant au plus grand nombre le meilleur accès possible aux connaissances de toutes sortes. C’est ce que fait Lê avec sa chaine TH-cam, comme bien d’autres. Mais il faudrait rendre ces briques pédagogiques plus accessibles et plus faciles à intégrer dans des parcours d’apprentissage à la carte. Il y a beaucoup de choses à faire, vraiment. Nous n’en sommes qu’aux balbutiement. Si vous êtes intéressé par ces sujets, n’hésitez pas à me contacter.
@@OlivierBailleux sur l'antériorité : ça, c'est un problème qui n'épargne sûrement aucune discipline de recherche. Il y a des domaines où les publis sortent plus vite qu'on ne peut les lire (j'imagine que c'est le cas pour l'IA)... Et comme ça, Elsevier Researcher Academy peut vendre des formations "how not to reinvent the wheel", "how to prevent research waste"...
@@rudypatard5700 Ah oui, tiens j'y avais pas pensé. Je suppose que ça marche quand même, simplement on a l'autorisation de dépasser 100% dans les probabilités qu'on attribue. Et la somme cible est la somme des proba réelles (soit 1*n avec n le nombre de bonnes réponses) Si on a mis A : 50% B: 0% C: 50% D: 100 % alors qu'en vrai c'était: A: 0% B: 100% C: 0% D:100 % alors on gagne : 2- (0.5-0)^2 - (0-1)^2 - (0.5-0)^2 - (1-1)^2 = 2 - 0.25 - 1- 0.25 - 0 = 0.5 points Ensuite on peut pondérer en divisant par deux si on veut que chaque question ait le même poids (plutôt que chaque bonne réponse possible) Ca me semble conserver les bonnes propriétés du QCM bayésien à choix unique, après faudrait que je regarde plus en détail.
"On nous encourage souvent à prendre position, et à défendre cette position comme si notre vie en dépendait. On favorise aussi souvent celui qui a un avis tranché et use, et abuse, de rhétoriques, de moqueries et d'appels à la meute pour la défendre. Malheureusement, le doute et l'incertitude légitimes sont rarement valorisés car les récompenses qu'on donne ne nous invitent pas à réfléchir en ces termes. ". C'est beau.
Super video comme d'habitude. Comme tu demandes des retours , voici mon expérience : je suis prof de maths en collège et, inspirée par tes videos et celles d'Hygiène mentale, j'ai décidé d'organiser dans mes classes de 4ème des "débats mathématiques bayesiens". Sur des thèmes de débats que j'organise habituellement, j'ai demandé aux élèves de se prononcer sur la question en donnant credence en pourcentage . Ils doivent donner une credence a priori, puis Les données entrées par les élèves sont collectée, on en discute, on fait une schéma...puis on recommence à collecter les credences de chaque élève. Étape suivante : chacun donne des argument pour défendre sa position. Puis on refait une collecte de credence. J'interroge les élèves qui ont change d'avis pour qu'ils analysent ce qui les convaincu. Un argument, ou encore l'avis de la majorité, l'avis dun élève à qui ils font confiance. Ensuite, si ça na pas été encore fait, on donne un argument frappant que je valide moi même (jusque la je n'ai pas pris position). Je refait une dernière collecte des credences des élèves en fin de débat. Jai fait ce travail deux fois , notamment sur la question: les grandes diagonales du cube sont elles perpendiculaires. Au début de l'activité, on voit que le degré de certitude des élèves dépend plus de leur confiance en eux que d'arguments rationnels. Notamment les élèves habituellement en réussite en maths ont tendance à parier à 100% qu'elles sont perpendiculaires mais sont capables de changer d'avis par la suite. Des élèves moins confiants vont utiliser des degrés plus nuancés. Certains élèves, rares, ne changent jamais de position et semblent imperméable à tout argument... À la fin du débat on fait un retour sur ce qu'il aurait été plus prudent ("bayesien") de parier au début (même pour un élève n'ayant pas intégralement compris la question ). En effet deux droites prises au hasard sont rarement perpendiculaires. Dans l'espace elles ont même de fortes chances de ne pas être secantes. Cela donne une credence proche de 0%.En même temps, le cube est un solide particulier avec beaucoup d'angles droits... ce qui remonte un peu la credence. Bref j'ai trouvé que ce travail permettait aux élèves de réfléchir davantage a l'étendue de leur ignorance, quel que soit leur niveau. Une eleve brillante est venue me voir à la fin de l'heure pour me dire qu'elle regrettait d'avoir pris position à 100% (en l'occurrence pour la mauvaise réponse )sans avoir d'argument indiscutable. De manière générale je trouve que les mathématiques sont un bon bac à sable pour apprendre a bien débattre. Peu de hooliganisme chez les élèves, et surtout la sensation rassurante qu'on aura la réponse a la fin. Cela n'empêche pas de travailler sur la gestion de son incertitude. Sa
Ne me demande pas pourquoi, mais lorsque j'ai écouté ton approche j'ai aussitôt songé à une notation qui ressemblerait au spectre de la lumière et à Condorcet également. Sacré foutoir entre mes deux oreilles j'en conviens! Merci Lê, toujours aussi interactif et didactique.
Hello! À la HEP vaud des enseignants utilisent une version simplifié de ce que tu proposes appelée "degrés de certitude", où on donne une probabilité à l'ensemble des mauvaises réponses (en donnant la probabilité que la repose choisie est juste). J'ai travaillé avec ça pendant ma thèse. Dis-moi si tu veux qu'on échange, surtout par rapport à toutes les critiques que ces techniques soulevent..
2:09 "Un étudiant A peut obtenir une meilleur note qu'un étudiant B alors que l'étudiant A à mieux compris le cours que l'étudiant B" C'est l'inverse non ?
Alors la je suis bluffé cela me pousse également à réfléchir autrement et de la même façon à mieux apprendre pour mieux être sûr de mes réponses (améliorer mes crédences) je crois que je vais l'essayé sur certain de mes camarades et te faire des retours! Je crois que cette méthode devrait être adopté par nos professeur et je leur mettrais en référence ta chaîne! Merci encore Lê!
Parier en terme de probabilités sur les réponses d'un qcm, c'est tout le propos du jeu TV «Money Drop», présenté par Laurence Boccolini il y a quelques années sur TF1. Le gros problème du jeu reste malgré tout le fait que les candidats jugeaient très mal l'étendue de leur ignorance.
En cela c'est un excellent jeu : cela pousse l'individu lambda à toucher du doigt la valeur du doute, en faisant payer ce besoin culturel ridicule d'avoir des certitudes.
Et les QCM avec indice de certitude ? Nous on doit rajouter un indice et plus il est élevé, plus on gagne de point si la reponse est juste, moins on en pert si elle est fausse
Un gros défaut de la formule présenté ( 9:12 ) : Pourquoi, pour B vrais, celui qui aurait répondu "0 25 75 0" aurait -0.125 et celui avec "25 25 25 25" aurait +0.25 ? Les 2 ont attribué 25% à la bonne réponse, et 75% à des mauvaises, et donc il me semblerait adapté que les 2 aient la mème note. La solution intuitive serait de calculer 1 - (1 - annonces vrais)² - (somme des annonces fausses)² ; il faudrait vérifier que ça conserve la véracité garantie.
Paul Amblard C'est l'angle mort de la méthode. Les résultats souhaitables n'ont pas été définis, ni démontrés. D'autant que dans l'exemple que vous citez, 2 points de vue opposés se défendent : 1- le répondeur a bien su éliminer 2 mauvaises réponses, on peut considérer qu'il est plus proche que qq1 resté dans l'indécision. 2- le répondeur a justement marqué son ignorance, là où le 1- a clairement marqué une quasie certitude pour C Par ailleurs crédence marque trop la tendance à prendre tels quels les termes anglais. Vraisemblance ou Certitude seraient appropriés, avec une préférence pour Vraisemblance, qui ne porte jamais sur la personne mais sur l'assertion elle-même, ce qui réduit un biais de confiance en soi soulevé supra.
Le problème principale que je vois c'est que ça favorise, peu-importe le sujet, les gens doués pour faire des calculs bayésiens d'estimation des probabilités. Donc si tu estimes bien les probabilités en général, tu auras une meilleure note. C'est peut-être une qualité utile en générale mais du coup on ne juge plus que la matière de l'examen. Sinon intéressant j'en conviens, j'aimerais bien voir ça a l'EPFL :)
Je pense plutôt qu'on juge ici 2 choses : le degré de certitude, et la capacité à raisonner de façon rationnelle ; La précision dans l'attribution des probas étant secondaire dans la note globale. Je crois que ce sont 2 qualités importantes à mettre en avant dans le cadre d'une "hygiène intellectuelle".
Merci pour cette vidéo! Il me reste encore une évaluation avec des ingénieurs en dernière année je pense qu'ils vont y passer hihihi Mais j'aime beaucoup les faire vraiment raisonner en leur demandant d'expliciter une démarche et d'exposer leur pensée. Ce type de QCM serait donc un complément...
Dans ma fac en Belgique, il y avait un système de QCM plutôt bayésien, avec coefficient de certitude : en plus d’indiquer la réponse à laquelle on pensait, on donnait un coefficient entre 0 et 5 (beaucoup plus simple à corriger qu’une estimation sur chaque réponse). Par exemple si je me souviens bien, un coefficient de 0 donnait 0,65 points en cas de réponse juste et 0,2 points en cas de réponse fausse, tandis qu’un coefficient de 5 donnait ou retirait un point complet. Il y avait en outre des systèmes pour éviter une réponse juste par élimination, notamment on pouvait choisir « aucune de ces réponses » ou « plusieurs de ces réponses » (ce qui permet aux crédences de l’étudiant de ne pas être trop influencées par les réponses proposées)
Prière bayésienne (une mauvaise tentative): "Nos ancêtres dans le ciel, ton nom soit sanctifié, votre postérieur vient, votre attente soit calculée, approximativement ou asymptotiquement. Donnez-nous aujourd'hui notre gradient quotidien. Pardonnez-nous nos prieurs impropres, comme nous pardonnons à ceux qui font une inférence aveugle
Il y a un jeu télévisé assez proche de cette idée, c'est money drop. Le principe : on commence avec une certaine somme d'argent, et à chaque question, on doit répartir l'argent sur chacune des réponses possibles. On ne conserve alors que la somme d'argent qui était sur la bonne réponse, et on continue comme ça pendant 6 ou 7 questions. J'avais trouvé le concept très intéressant, parce qu'on constate effectivement que les candidats misent rarement tout leur argent sur une seule réponse quand ils ne sont pas sûrs. Donc ça encourage bien l'honnêteté intellectuelle, et ça c'est cool :)
sauf que dans se jeu, pour maximisé l'espérance, il faut tout mettre sur celui le plus probable. (après, on ne souhaite pas toujours maximisé l'espérance. on peut préféré gagner 1000€ à coup sur que de gagner 4000€ avec un probabilité de 30%)
Excellent ce que tu proposes là. Encore une fois :) Quid par contre de la facilité de correction de celui-ci ? Si examen sur machine, oui. Mais il faut encore savoir pouvoir le programmer. Sur papier... plus fastidieux. il faut là encore un gros travail préparatoire et en plus le traitement de données reste long. Enseignant en primaire, je trouverai ça chouette de l'explorer , en binôme ou plus par exemple.
Mettre des carré pour les réponse et utiliser un algo de reconnaissance de caractère (comme les code posteaux sur les lettres). ...Tient, ça fait une idée d'application mobile à développer !
Hello ... merci pour tes vidéos fort instructives .... dans un registre semblable, celui de l'évaluation, mais appliquée à la démocratie et au choix je te propose un lien vers la loi électorale du canton de Berne, en Suisse . J'habite Genève et j'y ai enseigné les maths pendant près de 40 ans ... :-). La Suisse est un état fédéral. Les 26 cantons ont chacun un gouvernement législatif ainsi qu'un exécutif (qu'on nomme Conseil d'Etat). Le conseil d'Etat est composé de 7 membres, l'équivalent des ministres en France. On évite de désigner un président tout puissant comme en France (le président change tous les ans par tournus), et on se soucie pas mal des minorités. Le canton de Berne est constitué d'un grande majorité d'électeurs germanophones (presque un million) et une minorité de francophones (le Jura Bernois) qui compte environ 50.000 personnes. Par souci de préserver les droits des francophones, la loi prévoit qu'un membre du conseils d'Etat sur les 7 doit être issu de la minorité du Jura Bernois. C'est louable d'avoir assigné un siège de l'exécutif d'office à cette minorité. Oui mais comment adapter la loi électorale ???? Il faut que tout le peuple du canton puisse se prononcer sur le 7eme candidat, mais les jurassiens bernois ne souhaitent pas non plus que la majorité écrasante du reste du canton puisse peser trop dans la balance lors des votations .... il fallait donc trouver une formule qui permette à tous de voter, mais qui donne un poids prépondérant à cette minorité .... La solution retenue est d'élire le candidat de la minorité linguistique selon la règle suivante : Art. 107 2. Représentation du Jura bernois au Conseil-exécutif 1 Le siège réservé au Jura bernois est attribué sur la base de la moyenne géométrique (art. 85, al. 4 de la Constitution cantonale). Elle se détermine comme suit: les suffrages recueillis par chaque candidat ou candidate sont comptés séparément à l’échelle du canton et à celle du Jura bernois, dans le but d’en calculer le produit. La moyenne géométrique correspond à la racine carrée de ce produit. 2 Si le candidat ou la candidate du Jura bernois qui a obtenu la meilleure moyenne géométrique n’atteint pas la majorité absolue au premier tour, le siège reste vacant lors de la répartition des sièges. ref : www.belex.sites.be.ch/frontend/versions/14?locale=fr En 2014, l'application de cette formule a permis l'élection d'un candidat qui avait obtenu une meilleure moyenne géométrique, bien qu'ayant totalisé moins de voix que son concurrent .... ref www.sta.be.ch/sta/fr/index/wahlen-abstimmungen/wahlen-abstimmungen/wahlen/wahlen_2016/hintergrundwissen.html La moyenne géométrique, contrairement à la moyenne arithmétique (même pondérée) 'favorise' les petites valeurs .Ce que je ne sais pas, c'est : combien d'électeurs ont vraiment compris cette formule et pourquoi elle est ainsi formulée. Mais tout le monde l'accepte. Et ce dans un cadre très important puisqu'il s'agit du pouvoir politique. Comme la Suisse est un pays avec 4 langues nationales, certains ont proposé d'appliquer une formule équivalente au niveau fédéral. ...... mais on est pas sorti du sable à mon avis :-)
Le problème que la notation que tu nous propose me pose : En PACES à Descartes on perdait énormément de points à cause : - du manque de temps pour répondre aux questions (perso je zappais systématiquement la thermodynamique et la dosimétrie car elles étaient notées sur trop peu de points en comparaison du temps qu'il me fallait pour faire tous les calculs, même si je savais systématiquement tout faire) - des erreurs de calculs (perso j'ai passé plusieurs épreuves en sentiment de stress voire de panique et j'exaggère même pas) - des questions coup de putes genre "cocher les items faux", on zappe toujours ça - de pièges sur "celà montre" qui est faux car "celà suggère" juste en vrai (argh en biologie moléculaire un prof était spécialiste) - des questions mal posées car si pas rigoureuses (les autres profs que celui de biomol disaient toujours "celà montre" alors qu'en vrai ça "suggérait" juste ! Enfin on trouve des exceptions partout en médecine donc a quoi bon etre pointilleux bref -des images d'anatomie radiologiques où les flèches étaient mal placées (si si..., personne averti et épreuve pas annulée) - d'autres coups de putes : un item a trop de chiffres significatifs donc fallait répondre "E : aucune réponse n'est exacte", de l'en**lage de mouches sur des concepts de bioéthique, de la malnotation où des trucs ultra durs sont notés presque rien alors que t'as pas eu le temps de répondre aux questions ultra faciles à la fin de la copie, les chapitres qui ne tombent pas aux partiels donc cadeau à ceux qui ont fait l'impasse, etc Enfin voilà pour rendre un QCM juste le QCM bayésien c'est sympa mais c'est une goutte d'eau dans la mare
Très sympa comme concept, je cherchais justement un mode d'évaluation pro honnêteté intellectuelle. Je m'interroge cependant sur la méthode de correction. Aujourd'hui les étudiants remplissent des cases pour répondre aux QCM, ce qui est facilement détectable lors du scan pour la correction. Même les nombres sont à remplir sous forme de cases à griser (ex. le numéro de l'étudiant où il doit griser le chiffre des unités, puis des dizaines ... en utilisant un tableau de 10*nb_chiffres). Si on utilise un QCM bayésien, cette méthode n'est plus possible (ou alors il faudrait un tableau de 10*2 par réponse :/). Il faudrait alors soit pouvoir reconnaître les chiffres tracés par les étudiants (ce qui peut être imprécis), soit trouver une autre méthode pour numériser la réponse de l'étudiant.
Des notes /5 apparaissent comme un bon compromis. Et peuvent se matérialiser sous la forme de petites cases à cocher. Au lieu de dire ABCD 20%,0%,60%,20%, le candidat coche 1 pour A, 0 pour B, 3 pour C etc. C'est simple, utilisable par un étudiant en philo et scannable. Et quand on observe les réponses, la granularité du % est bien suffisante.
Une manière de faire écrire des chiffres relativement simple et scannable (enfin je crois, je n'ai aucune connaissance dans ce qui est scannable ou pas), serait de laisser à côté de chaque réponse 2 paquets de 6 points et les étudiant.e.s devraient les relier pour former des chiffres de la même forme que sur les micro-ondes, calculettes, etc.
J'avais raison ! (à moitié) A : 5% B : 50% C : 15% D : 30% J'ai évidemment flairer l'arnaque et voté pour la personne que je ne connaissais pas :D Sinon j'ai remarqué que ce système de notation quadratique puni très fortement le fait de mettre 0%. Par exemple, dans le cas d'une question à deux choix : - voter A:100% et B:0% conduit à avoir une note de 1 ou -1 selon que l'on ce soit trompé ou non - Voter A:90% et B:10% revient à obtenir une note de 0.98 ou -0.62 S'accorder une marge d'erreur donne une perte négligeable de 0.02 points dans le cas ou notre réflexion s'est révélé juste et un gain de 0.38 points à l'inverse. Est-ce que ça veut dire que si j'ai une incertitude sur mon incertitude, j'ai intérêt à surestimer mon incertitude ?
Pour savoir, faut faire les calculs! Suppose que la question c'est "est-ce que le résultat de ce dé à 100 faces qu'on vient de lancer est entre 1 et 99? A:oui B:non". En bon bayésien, sans plus d'information, on a envie de voter A:99% B:1%. Dans ce cas la méthode quadratique d'évaluation nous donne: - quand le dé a fait "100": 1-0.99²-0.99²=-0.9602 - quand le dé a fait entre 1 et 99: 1-0.01²-0.01²=0.9998 Si le dé est équilibré on a donc une espérance de gain de 0.01*(-0.9602)+0.99*0.9998 = 0.9802 Si on décide de surestimer son incertitude (et de par exemple voter A:98% B:2%), l'espérance de gain devient 0.01*(1-0.98²-0.98²)+0.99*(1-0.02²-0.02²) = 0.98 : c'est moins bien ! Par contre là où on peut avoir intérêt à surestimer son incertitude c'est si notre objectif n'est pas d'avoir la meilleure espérance mais plutôt de maximiser ses chances d'avoir la moyenne. Si c'est la dernière épreuve de l'examen et que je sais qu'il me suffit d'avoir 0.5 pts de plus pour être reçu j'ai tout intérêt à mettre A:50% et B:50%, quelles que soient mes réelles crédences.
@@anneaunyme Dans ton exemple, on connait parfaitement l'étendue de notre incertitude. Il n'y a aucun doute sur le fait que sur un grand nombre de lancé, on obtiendra 99% du temps A:oui Or ma question portait sur les cas dans pour lesquels on a une incertitude sur notre réponse probabiliste (ce qui semble être assez courant en pratique). Par exemple pour la question de l'épisode, j'ai répondu A:5%, mais j'aurais très bien pu mettre 2% ou 10% (mais pas trop moins et pas trop plus). Dans ce cas, j'ai l'impression que j'aurais intérêt à mettre la valeur maximale. J'ai fait quelques tests : Imaginons un QCM à deux choix A et B dont le résultat est aléatoire (par exemple 5% de chance que la bonne réponse soit A). Maintenant, imaginons que cette probabilité soit elle même aléatoire (par exemple répartie uniformément entre 0% et 10%). Alors il semble que l'on aurait intérêt de répondre A:5% au QCM pour maximiser l’espérance. De même pour des distributions normales ou log normales paramétrées de sortes que la probabilité la plus probable soit 5%. Ainsi, si l'on considère le résultat aléatoire du QCM comme notre incertitude et la distribution de cette probabilité comme l'incertitude sur l’incertitude, il semblerait que maximiser nos chances reviendrait à répondre la probabilité la plus probable (ou la moyenne dans le cas de la distribution uniforme), ce qui correspond avec la réponse "honnête". Bon en fait je suis toujours pas convaincu parce que mon raisonnement précédent considère que l'on calcule parfaitement ces fameuses incertitudes. Et j'ai toujours l'intuition que dans le cas ou l'on est incertain, il vaut mieux augmenter les pourcentages proches de 0% et diminuer ceux proches de 100% (par rapport à notre intuition/raisonnement final).
La question de proposer un choix multiple avec la "bonne propriété" que le meilleur choix soit la vrai préférence rappelle beaucoup le problème du mode de scrutin évoquée dans la série sur la démocratie. Le Lê de 2017 avait exprimé sa préférence pour le scrutin de Condorcet randomisé. Peut-on faire un parallèle entre ces 2 sujets ? On pourrait appliquer Condorcet aux QCM, en demandant aux candidats de classer les réponses par ordre de vraisemblance supposé. On note ensuite le candidat selon le rang où la bonne réponse apparaît. (Plus la bonne réponse apparaît dans le premier choix, meilleure est la note).Je ne sais pas si cette solution a plus de bonnes propriétés que la méthode proposée ici. Réciproquement, un mode de scrutin basé sur le bayesianisme est-il envisageable ? Devrait-on considérer le scrutin de Condorcet comme bayesien du fait (en quelque sorte) que l'on vote pour une loterie (un processus stochastique).
Il y a un point qui me chiffonne , dans la vidéo tu ne justifies absolument pas pourquoi tu préfères choisir une méthode quadratique et j'aimerais bien comprendre ce qui te pousse à la choisir plutôt que la logarithmique ou la sphérique par exemple. La simplicité de calcul ne change pas grand chose vu qu'on va probablement rentrer les crédences dans un programme plutôt que de calculer à la main. Du coup pourquoi? Un autre point que je trouve intéressant c'est quand tu dis "un individu qui marque un nombre de points négatifs est un individu qui d'une certaine manière se trompe plus qu'un individu ignorant". Est-ce que tu penses vraiment que cet individu se trompe plus? Je pose la question parce que j'ai un point de vue assez différent (pour une raison mathématique et une autre raison plus philosophique) : l'individu en question a une vision de la réalité plus éloignée en norme quadratique de la réalité que le parfait ignorant. Et ça c'est quand même lié au choix de la distance que tu utilises : tu auras beau utiliser une distance pro-honnêteté elle n'est pas neutre sur la manière dont tu vas évaluer la réponse, ce qui ramène à ma première question : pourquoi la norme 2? Et mon deuxième argument : tu peux donc mesurer l'éloignement des réponses d'un individu à la réponse réelle, mais est-ce que cela veut dire se tromper plus? J'ai du mal avec l'idée d'utiliser une relation d'ordre sur le fait de se tromper parce que j'ai l'impression que cela stigmatise les erreurs, et qu'un étudiant pourrait alors avoir tendance à se replier sur une stratégie qui rendrait ses erreurs le moins visible possible (quitte à ce que sa note soit un peu plus basse) par peur du jugement. Qu'est-ce que tu en penses?
Très intéressant cette approche bayésienne. Et si on ajoutait un peu d'aléa dans la répartition des réponses ? Au lieu de proposer une réponse uniquement on pourrait partager le point pour chaque question en le nombre de réponses justes. Et par exemple pour une question à laquelle on propose 5 réponses on pourrait faire varier le nombre de réponses correctes de 0 à 5 avec du coup : 1) Pour le cas où aucune réponse n'est valide on attribue 1 point au candidat qui ne coche aucune case et -0,20 par case cochée 2) Pour le cas où une seule réponse est correcte on enlève 0,20 par mauvaise réponse et +1 pour la bonne réponse donc celui qui cocherait tout aurait 1 - 0,8 = 0,2 3) Pour le cas où deux réponses seraient correctes on enlève 0,20 points par mauvaise réponse et +0,5 pts par bonne réponse donc celui qui cocherait tout aurait 1 - 0,6 = 0,4 4) Pour le cas où trois réponses seraient correctes on enlève 0,20 points par mauvaise réponse et +1/3 pts par bonne réponse donc celui qui cocherait tout aurait 1 - 0,4 = 0,6 5) Pour le cas où quatre réponses seraient correctes on enlève 0,20 points par mauvaise réponse et +0,25pts par bonne réponse donc celui qui cocherait tout aurait 1 - 0,2 = 0,8 Après on peut également jouer sur le nombre de réponses proposées pour varier les possibilités. Du coup les candidats seraient obligés de réfléchir à des stratégies différentes pour chaque question ce qui, même s'ils n'ont pas révisé, les forceraient quand même à faire des maths. Qu'en pensez-vous ?
j'avais une idée (pas réalisable) au lycée (vers 2012) qui se rapproche de ce principe d’avoir "plus" d'infos, des infos plus précise : c'était de ne pas juste ce fier à une moyenne général, ni même aux moyennes de chaque matière, ni même au notes des contrôles, mais des exos en eux même. Ce qui compte le plus, c'est pas les "chiffres" , mais c'est le contenu, ce qu'a écrit l'élève, mieux pourquoi il a écrit ce qu'il à écrit. (Merci a ton slogan : "pourquoi pensez-vous ce que vous pensez" ). Du coup j'étais vraiment pas fan des QCM qui rajoutaient une couche de flou. Mais avec le QCM Bayésien, là je redeviens ami avec ^^
L'idée d'Olivier a été mise en place il y a plus de 20 ans à l'université de Liège (Belgique) dans la faculté de Psychologie et de Sciences de l'Education. (ou du moins, une idée proche) : En plus de choisir une des 5 propositions du QCM, nous devions donner nos certitudes quant à la justesse de la réponse. En fonction de la certitude que nous affirmions, nous pouvions gagner plus ou moins de points si la réponse était juste, mais aussi en perdre plus ou moins si la réponse était fausse. Je me souviens qu'on pouvait gagner ou perdre 20 points si on était complètement sûrs et que si on était vraiment pas sûrs, on gagnait genre 5 points et on en perdait 1.
Si une personne assigne A:33% B:0% C:33% D:34%, est-il "normal" qu'il obtienne une meilleure note que celui qui assigne 100% à A,C ou D ? Dans les deux cas ils sont sûrs que ce n'est pas B. Mais dans un cas la personne est aussi sûre que ce n'est ni A ni C (ou A/D, ou C/D), ce qui est vrai. Concrètement, si je suis sûr que ce n'est pas B (je me trompe donc sur ce point), il vaut mieux pour moi n'avoir aucune autre connaissance me permettant d'éliminer une des autres propositions. Si je sais que ce n'est pas A, et vote C:50% et D:50%, et j'ai -0,5. Si je sais que ce n'est ni A ni C, je vote D:100% et j'ai -1. En ne sachant rien sur A, C et D, je vote A:33% B:0% C:33% D:34% et j'ai -0,3. Pourrait-on corriger ce phénomène en n'imposant pas d'atteindre le total de 100% ?
oui c'est normal, si t'es certain que c'est pas B, et que tu met 100% à A, alors que c'est B, bah t'es pas juste ignorant, t'es pire encore, donc c'est normal d'être pénalisé en conséquence.
Bonjour à tous. Merci Lé pour cette vidéo inspirante et de qualité et à Oliver pour l'idée de départ. Je trouve l'idée du questionnaire Bayésien intéressante et qui à le mérite d'être testable pratiquement par les enseignants. J'enseigne et suis moi même très curieux de tester cette méthode pour mes évaluations. En commençant à l'implémenter plusieurs questions me viennent et j'aimerais avoir vos avis : 1. Comment étendre la méthode lorsque l'on veut proposer plusieurs réponses correctes, en particulier avec la notation quadratique ? 2. Un étudiant ignorant qui répondrait 25% à toutes les questions se verrait attribuer un score d'un quart de la note totale, alors qu'un étudiant ne répondant pas du tout aurait 0. Bien sur on pourrait forcer la réponse, mais je me demande si cela ne risque pas de forcer un comportement stéréotypé: j'ai l'intuition a priori que cela pourrait inciter les étudiants à répondre uniformément 25% dés qu'ils auront le moindre doute ... De plus cette stratégie pourrait octroyer 1/4 de la note à des étudiants complètement ignorants mais ayant compris les "incitatifs" de cette stratégie. Qu'en pensez vous ? Je serais ravi d'échanger de manière approfondie sur le sujet
Ma tentative de réponse : A : 12.5% B : 20% C : 30% D : 37.5% J'ai absolument aucune idée de la réponse mais comme on est sur ta chaine ça boost beaucoup ma crédence dans le fait que ça tombe sur laplace, cela dit le titre semble cohérent avec bayes donc il à droit à un petit bonus. J'ai jamais entendu parler de moivre donc j'évite de trop baisser sa proba, et ça laisse newton que je met à un niveau assez faible parce que j'ai jamais entendu parler du bouquin et au vu du titre ça me parait pas être le genre de truc qu'il écrirait. Mais on est pas sure des pourcentages très solides =p
très intéressant comme système, mais ça manque de maths un peu. Elle est où la preuve que c'est la meilleur stratégie de donner ses vraies crédences ? :)
Je suis étudiant en maths option physique dans une fac allemande dont je tairais le nom. J adorerais balancer cette vidéo à mon prof de Computeralgebra (en ce moment il fait des QCM de salaud ^^)mais il y comprendrais rien, ba oui l Allemagne... enfin bref merci pour ton contenu, j attends d avoir assez de temps pour éventuellement te communiquer une traduction
A->1 B->33 C->33 D->33 À moins que je ne me trompe, ça me donne un score de +0.33 (et quelques). C'est vraiment beau je trouve, il y avait une réponse que je savais ne pas être celle-là, mais je n'avais aucune idée pour les trois autres. J'avais "compris" un tiers du sujet quelque part, et ça se voit dans le score. C'est propre. (Même si c'est assez évident pourquoi je trouve 0.33 en regardant la formule appliquée, je trouve ça beau quand même...). Ça me fait un petit peu penser à Money Drop aussi lol. Voilà voilà...
Je me souviens d'un prof (management...) qui expliquer qu'il fallait encourager les étudiant à répondre aux questions sur lesquelles ils n'étaient pas compétent car gérer, c'est aussi gérer la prise de risque. C'est à dire qu'il pensait pouvoir tester la chance du candidat..
Passionnant. Une remarque : les QCM ont un inconvénient sur le plan pédagogiques : ils ancrent une association entre la question et les mauvaises réponses avec un risque d'implater des erreurs dans la mémoire de l'élève. Il serait donc conseillé de ne pas préparer les élèves avec des Qcm...
Je tente : je met A : 20%. B : 10%. C : 35% et D : 35% Je met moins à B car jamais entendu parler. Je met plus à C et D car ce sont des écrivains que tu adore et que tu as beaucoup lu. Ah merde perdu... ça me fait combien ça ? 0.10 pts ? Par contre c'est super cette vidéo, je crois que y'a pas plus concret pour une application du bayésianisme dans la vie quotidienne ! Génial ! Merci !! A la toute fin, y'a Julia Galef qui parle mais dessous c'est écrit que c'est "la statistique expliqué à mon chat"
Qui s'occupe des propositions de réponses ? C'est important. Test 1 (super dur) Qui a écrit "Critique de la Raison pure" ? : A. Nabilla. B. Kant. C. Ribery. D. Van Damne. Test 2 Quel athlète tchèque est le premier décathlonien de l'histoire au-dessus des 9000 pts ? : A. Romano Šebrle. B. Roman Šebrele. C.Roman Šebrle. D. Romano Šebrele.
Ça, ça change pas : bien juger de la compréhension d'un sujet, ça a à voir avec le talent de l'examinateur d'une part, et son niveau d'exigence d'autre part.
Mais un QCM bayésien ne risque t'il pas de favoriser ceux qui on de meilleures compétences en probas ? Or c'est pas forcément ce que souhaite tester le QCM.
La consigne "répondre honnêtement rapporte le maximum de points" est une consigne assez simple, et le différentiel entre ceux qui suivent bêtement cette consigne et ceux qui la comprennent sur le plan statistique serait négligeable, car tous ceux qui suivent cette consigne en bénéficieraient.
@@ludovicduvillage6760 Mettre 100% sur la bonne réponse rapporte le maximum de points. Je ne vois pas en quoi le fait que tout ceux qui suivent cette consigne en bénéficient implique qu'il en bénéficient de façon équivalente. Ni quel sens donner à "honnêtement" dans ce contexte.
@@alo.785 Oui en lisant d'autres posts je réalise que j'ai peut être mal compris ton post. Je sous-entends : "à chaque fois qu'on est pas sur et certain de la bonne réponse, si on suit la règle de notation que propose Lê, alors répartir "honnêtement" la crédibilité qu'on accorde à chaque réponse aura tendance à nous faire gagner plus de points que de parier 100% sur la réponse qu'on estime être la plus vraisemblable (cette dernière stratégie ne correspondrait pas à une réponse "honnête" par rapport à ce qu'on estime réellement) Si tu sous entends que les meilleurs en proba auront de meilleurs résultats car ils comprennent mieux la consigne, je pense que cet effet sera très faible, car on peut comprendre la consigne assez intuitivement, avec la notion suivante : "Quand vous n'êtes pas sur, répondez honnêtement par rapport à ce que vous pensez réellement, sur le long terme ça aura tendance à vous faire gagner plus de points. (plutôt que de tout parier sur une seule réponse)" Par contre il est vrai que ceux qui savent mieux exprimer leur réponse sous forme de pourcentage représentatifs de leur croyance auront un avantage. Par exemple si un étudiant pense que la bonne réponse est la réponse A et qu'il est sur de lui, presque certain, et qu'il croit sincèrement que ça correspond à une attribution de 80%, alors il sera désavantagé (même s'il a bien compris la consigne) Ce n'est pas sa compréhension de la consigne qui le désavantage, c'est sa capacité à attribuer des pourcentage qui reflètent correctement ses estimations. Vu sous cet angle alors oui, les meilleurs en proba sont favorisés. Cela dit, les meilleurs en "français" sont clairement favorisés pour les examens classiques "dissertation"
J'ai aussi vu un système intermédiaire où l'étudiant peut cocher deux réponses, et si une des deux est la bonne il a 0.5 points, mais si les deux sont fausses il perd 1 point au lieu des 0.5 pour une erreur habituelle (et s'il ne réponds rien il gagne 0.25 points). J'ai toujours trouvé ces valeurs arbitraires, je trouve que la méthode que tu présentes est mieux justifiée et elle permet aussi de gérer les réponses multiples. Par contre, pour la mettre en pratique il me semble qu'il y a plusieurs obstacles : Cela peut ralentir certains étudiants plus que d'autres (en particulier ceux qui sont lents pour calculer, ou qui ont du mal à quantifier leurs crédences). Un étudiant pourrait vouloir "diminuer les risques", quitte à diminuer son espérance, et donc choisir des valeurs plus proches de 25% pour chaque réponse. Même un étudiant qui a tout compris pourrait hésiter à mettre 100% sur chaque bonne réponse, et donc n'aurait pas tout les points. Le pire c'est que cela dépend de la personnalité des individus donc ça serait potentiellement discriminatoire selon des critères indépendants de ceux évalués. Les copies ne seraient corrigeables que numériquement, là où le qcm classique peut être corrigé sur papier (mais je ne suis pas enseignant donc peut être que ce n'est pas important).
Bonjour et merci pour cette vidéo, super intéressante. J’ai une question qui pourrait fort compliquer la chose ( ou pas). Si on considère que toutes les réponses ne se valent pas ? Par exemple je pose la question « Quelle est la couleur du tee-shirt de Lê dans cette vidéo avec les propositions « bleu - rouge - Orange - rose ». Je peux est!mer que « orange » est la bonne réponse, suivi de « rouge » qui est pas trop déconnant, puis « rose » qui est pas bon et enfin que « bleu » est carrément mauvais. Puis-je considérer que la bonne réponse en probabilités est 0 - 30 - 60 - 10 et ça me sert de base pour ma distance quadratique ou pas ?
ça dépend de comment tu vas exploiter les donné en suite. Si tu doit prendre une décision seulement selon le résultat qui a été estimé le plus probable, seul lui compte. (mais dans se contexte, ça peut peut-être aider au début de l’apprentissage) Si tu fait une voiture autonome qui vat freiner mème si elle estime qu'il y a seulement 10% que se qu'elle voit sois un piéton, c'est probablement une bonne idée.
C'est à dire : ne donner libre choix à l'algo que dans un cadre donné de réflexion prédéterminées. Pas con. il me semble que ça résoud en partie la complexité du dénominateur de la formule de Bayes ("toutes les autres possibilités"). Je sais pas à quel point ça existe ou pas, mais ça mérite clairement une attention.
Plutot sympa ces QCM, merci pour cette vidéo. Je suis enseignant depuis peu et je ne sais pas si j'aurais l'opportunité de réaliser des QCM, mais si oui je testerai ça. Mais par contre on est d'accord que les réponse 0% ; 100% ; 0% ; 0% contredise ce que tu as dit et défendu plusieurs fois avant, comme quoi rien n'est jamais sur à 0% ou 100% et qu'un "vrai bayésien" n’atteindra jamais ces certitudes. (Autre exemple plus parleur pour les gens qui diraient qu'on n'est jamais sur de rien, que peut etre l'histoire se trompe.... tjr en QCM bayésien : je lance un dé équilibré à 6 faces, classique et non truqué, quelle sont les probabilités que j'ai de faire 7. Réponses A : 1 chance sur 6 ; réponse B : epsilon % ; réponse C : aucune chance ; réponse D : 1 chance sur 2. Résultats attendus : A 0% ; B 0% ; C 100% ; D 0%)
Bonsoir Lei, merci pour ton travail que je suis régulièrement. J'ai enseigné le français langue étrangère en Chine pendant des années et cette vidéo me donne des idées, non pas pour évaluer des étudiants, mais pour produire des savoirs et mesurer les cheminements cognitifs qui conduisent / peuvent conduire à « l'erreur en langue » (au regard de la norme). En revanche, mon idée est de croiser deux différents facteurs dans le qcm pour montrer que l'un des deux (que mon hypothèse prévoit comme neutralisé automatiquement avec un % zéro) n'est pas pertinent didactiquement mais reste pris en compte trop souvent dans l'évaluation. En revanche, à quel niveau enchâsser deux facteurs dans une question peuvent modifier les probabilités ? Dans la majorité des cas, les questions des qcm ne testent qu'un savoir ou qu'une question. Je serais très heureux d'avoir un échange avec toi sur ce sujet, il reste trop de biais dans l'enseignement des langues contre lesquels j'ai du mal à me battre et j'ai l'impression que l'approche de Bayes pourrait être une première réponse. Cordialement Julien
Brillant ! Félicitations à Olivier Bailleux 8-) Je donne un examen le 7 février sur un cours qui parlera notamment d'entropie croisée (ce qui est essentiellement le même principe que le QCM bayésien - avec une récompense en -log p), et qui sera donc tout indiqué pour mettre cette idée en pratique ! (sur une partie de l'examen seulement, hein : en raison des défauts intrinsèques au QCM très justement rappelés par Lê…). P.-S. : Et sinon, j'avais voté 10 %, 25 % , 25 %, 40 % : avec une pénalisation quadratique, j'aurais donc fait pire que l'étudiant ignorant… :-S
j'en sais rien du tout mais je mettrais : 20% réponse A (parce que je connais le nom) 10% réponse B (parce que je connais pas le nom) 50% réponse C (parce qu'on est sur ta chaine ^_^) 20% réponse D (parce que je connais le nom) Sinon c'est brillant comme idée oui :-) edit : Bon bah du coup je me suis complètement planté, et pourtant j'ai presque fini le livre ^_^
Est ce que tu ne nous referais pas le coup du scrutin de Condorcet randomisé ? un truc qui marche mais pas trop + un peu d'aléatoire => plein de propriétés géniales edit à la fin de la vidéo : OUI et c'est juste génial ! En plus cette idée est très facilement explicable à quelqu'un qui est allergique aux maths, chose un peu plus délicate pour le scrutin de condorcet randomisé
@@paulamblard3836 La vidéo de lé peut être pas, le vocabulaire est peut être un peu spécifique (et encore...). En revanche le principe du QCM est tellement bien ancré dans la tête de tout le monde que avec qques exemples concrets je pense que c'est explicable sans même parler de mathématiques. Non ?
@@matthieuproffit771 la grosse difficulté, c'est d'estimer des probabilités. ça exige d'avoir très bien compris se qu'est une probabilité, de bien maîtrisé se concept ; et de l'exiger pour évaluer des connaissances n'ayant peut-être aucun rapport avec les probabilités. Je pense que l'on peut l’exiger de quelqu'un qui s'est engager dans un filière scientifique ; pas de n'importe qui.
@@paulamblard3836 y a que des scientifiques universitaires qui jouent au poker ? Les bases sont les mêmes : combien tu es prêt à parier que ce que tu penses est vrai ? Jusqu'où tu es sur de ce que tu penses ? Ça peut s'expliquer très simplement me semble-t-il. Édit : même si, je te l'accorde, quelqu'un qui maitrise ces notions maximisera son score. ReEdit : La première fois que j'ai été voter, je n'avais aucune idée de la théorie sous-jacente au système de scrutin a 2 tours, de ses propriétés, de ses alternatives. On m'a juste dit "c'est comme ça", et ça m'a pas empêché d'exprimer ma réponse à la question.
@@paulamblard3836 Pour faire les calculs ou démontrer que un système de pondération quadratique est bien incentive-compatible, ok tu as besoin de maîtriser tes probas. Sinon, n'importe qui comprend le principe de probabilités sans pour autant faire des calculs (tu peux parler de dés avec un collégien, il devrait te suivre) pour te persuader avec qques exemples (et à la rigueur un bon argument d'autorité des familles) que le système de Lé / Mr Bailleux marche, récompense bien les gens qui ont une idée de la bonne réponse et que tu as intérêt à indiquer ce que tu penses (là ok, la démo il faut la faire passer en disant "tkt c'est prouvé"). Ensuite, pour soi même estimer les probabilités, j'ai fait S et continué dans cette voie et je pense que je les estimerais au pifomètre quand même. Pour mettre un chiffre sur une estimation de nos connaissances il faut être Bayésien professionnel ou utiliser un pifomètre bien calibré
Cette idée n'est pas totalement nouvelle, j'avais passé des épreuves (il y a bien longtemps) qui fonctionnaient de manière similaire. On ne donnait pas une crédence à chaque réponse; cependant on cochait, pour chaque question, deux cases : une case pour la réponse qu'on considérait bonne, et une case demandant la "confiance" qu'on avait dans ladite réponse (de mémoire, il y avait genre 5 cases : 0-20% ; 20-40% etc jusqu'à 100% de certitude). Le nb de points donnés/retirés était dépendant de la "certitude" indiquée à la bonne/mauvaise réponse.
Bonjour ! Je suis totalement emballé par cette idée. Connaissez vous des outils qui permettent d’implémenter facilement de tels QCM ? Actuellement j’utilise beaucoup AMC, mais je vois assez mal comment l’adapter, et j’ai accès à Moodle, que je ne connais pas assez bien pour savoir s’il permet ce type d’approche.
Même si la question avait été "Préférez-vous les pizzas ou les nems ?", et les réponses "A: Pizzas ; B: Nems; C: Bayes ; D: La réponse D", j'aurais répondu "Bayes" car c'est dans une de tes vidéos... Et je me serais planté mais ça méritait plus de 4% de chances.
Video très intéressante effectivement ça mérite d'être expérimenté. Néanmoins je reste perplexe sur la conclusion que tu fait (Dans le cas de la personne qui affecte beaucoup de crédence à une mauvaise réponse mas en étant honnête) un individu qui a un certain seuil de connaissances sur un sujet, et suffisamment confiance en cela pour conclure en prenant un risque, perd plus de point que celui qui ne connaît pas grand chose du sujet et qui va finir par donner une réponse au hasard en répartissant suffisamment ses points en fonction de ses a priori. Ca ruine la prise de risque honnête, même si la manière de réfléchir était mauvaise il y avait une méthode et une confiance avec pour origine un certain nombre de connaissances. Demander à l'étudiant d'expliquer son choix sur sa crédence la plus faible et la plus haute en quelques mots clés permettrait de juger du niveau de la personne sur le sujet. Je trouvais les méthodes d'évaluation classiques assez binaires : Résoudre un problème en rédigeant et en suivant une méthode rigoureuse ou répondre sans aucune justification sur des proposition à choix multiples. Si ce questionnaire peut apporter qqch de nouveau il serait intéressant de laisser place à une justification de la part de l'étudiant, ça ne fait pas perdre trop de temps au correcteur et ça rajoute de la valeur à la note estimée
Je me pose deux questions sur deux règles qui ne sont pas clairs dans ta vidéo. Est-ce que c’est applicable sur un QCM avec plus d’une réponse juste? Est-ce qu’un sujet peut indiquer un total de créance supérieur à 1? J’ai fait plein d’essais et j’en conclut qu’il faut généraliser la formule
ah, c'est rassurant de voir que d'autres ont ce genre d'idées pour des QCM, je commençais à me sentir seul à force de faire des calculs dans mon coin :p Personnellement j'aime beaucoup la notation logarithmique (mais il faut obliger à répondre au moins 1% pour chaque réponse pour éviter que des élèves aient un score -∞), parce qu'elle représente réellement une probabilité: si le QCM me demande "est ce que ces dés vont faire un double six", donc un événement de probabilité connue, l'espérance de gain est 35/36*log(1-x) + 1/36*log(x) qui atteint son max pour x=1/36. Et le caractère multiplicatif des logarithmes permet aussi de pouvoir considérer plusieurs questions comme une seule avec plus d'options. . Un problème, mais qui a sans doute déjà été résolu: «j'ai l'impression qu'une personne évalue mal ses certitudes, et se dit sûre à 99% alors qu'une fois sur trois elle se trompe [+liste d'autres prédictions]. De quelle manière devrais-je corriger ses affirmations?» (mais formulé comme ça, tout dépends aussi des critères pour une "bonne" manière d'améliorer)
Étant un théoricien de l'information je propose le système notation suivant. Soit q le nombre de réponses possibles à la question, soit P_i la distribution de crédence réelle de l'étudiant, et soit Q_ila distribution de crédence que l'étudiant répond à la question. Soit R_i la vraie distribution (donc que des 0 sauf pour la vraie réponse où R_{correct} = 1). La note de la question est donnée par une fonction de la divergence de Kullback-Leibler entre R et Q : 1-D_q(R||Q) = 1+\log_q Q_{correct}. Vérifions que cette notation est incentive-compatible : 1+\sum_i P_i \log_q P_i - (1+_sum_i P_i \log_q Q_i) =\sum_i P_i \log_q \frac{P_i}{Q_i} (cette quantité peut être vue comme la divergence de Kullback-Leibler D_q(P||Q) )Utilisant la concavité du $\log_q$ avec l'inégalité de Jensen on a D_q(P||Q)=\sum_i P_i \log_q \frac{P_i}{Q_i} \geq 0, avec égalité ssi Q_i=P_i. En d'autres termes, l'espérance de la note de l'étudiant est toujours plus élevée si l'étudiant est honnête. En plus on a que si l'étudiant ne sait rien, ie il met toutes ses crédences à égalité, alors la note est 0.
Bonsoir , question peut-être stupide mais je ne trouve pas la définition du terme "Crédence" évoqué en début de vidéo. Qqun pourrait m'expliquer ce mot? D'ailleurs merci pour tes vidéos je suis en seconde et tes vidéos sur le bayésianisme me permettent de réfléchir autrement.
[Suggestion ] Une question type de QCM pourrait se présenter sous cette forme : --- Qui est l'auteur de "la doctrine des chances " ? A : Isaac Newton OOOOO B : Abraham de Moivre OOOOO C : Thomas Bayes OOOOO D : Pierre -Simon Laplace OOOOO Pour répondre, remplissez les cases à côtés des réponses. Plus vous cochez une réponse, plus vous y attribuez votre confiance en celle-ci --- Je propose ce format là car il est très facile de l'évaluer à l'aide d'une machine. Je m'appuie sur mon expérience, en prépa, mes QCMs étaient corrigés en détectant les réponses cochées au stylo noir automatiquement. Bonne journée à tous ceux qui passent sur ce commentaire :D
Outil probablement à envisager sous sa forme numérique, sans quoi tu vas t'arracher les cheveux pour recopier chaque proba de chaque réponse dans un tableur !
Bonjour, D'abord très emballé par l'idée, j'en ai parlé autour de moins, j'ai cherché à améliorer la formule pour déterminer la note, j'ai proposé l'idée à d'autres enseignants et suite à mes échanges, j'en suis arrivé à la conclusion qu'il y a un fort risque d'observer un biais de genre dans les résultats. En effet, je m'explique. Des études sur les QCM à points négatifs ont montré que parmi ceux qui ont les bonnes réponses, une femme réussira moins bien qu'un homme en moyenne car elles ont tendance à être moins sûre d'elle que les hommes. Ici, elles distribueront plus leurs crédences que les hommes et donc auront moins de points qu'un homme sûr de lui, alors qu'ils ont tout les deux la même réponse. L'inverse s'observera pour ceux qui n'ont pas la bonne réponse, les filles auront alors plus de points en moyenne que les garçons. En somme une plus grande variance pour les notes des garçons que pour les notes des filles. Toutefois, l'idée de demander les crédences que l'élève accorde à chaque théorie donne un niveau d'information plutôt élevé au professeur sur l'état des connaissances d'un élève et aussi sa progression. On pourrait envisager de lui donner avant et après un cours le même QCM bayésien (non côté) et le corriger avec eux après le deuxième test. Cela nous permettra d'observer l'évolution des connaissances des élèves ainsi que de leur confiance en leurs connaissances. Comme c'est non côté, il n'y aurait pas d'incentive à donner une réponse à 100% plus qu'une autre. Bref, je pense que demander dans un QCM la crédence de la théorie plus qu'un outil pour encourager à l'honnêteté devrait être un outil pour observer l'évolution de la confiance en la théorie des élèves, élément très important dans la construction de la confiance en soi de l'élève qui se voit progresser vers la bonne réponse. L'avantage d'un tel test est aussi que si le professeur n'a pas réussi à expliquer un point de matière précis, il peut le remarquer directement (et assez clairement, s'il réfléchit soigneusement à la formulation de la question et des réponses) via les réponses des élèves et corriger son erreur au cours suivant. En somme, je dirais que c'est une bonne chose d'utiliser la crédence pour les tests informatifs, mais pas pour les certificatifs.
Je pense que le terme "biais de genre" est impropre. Il ne s'agit pas d'un test qui défavorise directement un genre par rapport a l'autre . De plus ton commentaire suggère des résultats plutôt en défaveur des femmes mais une plus grande variance chez les hommes peut aussi être interprété comme défavorisant. Les études sur les QCM a points négatifs ne permettent pas de tirer de conclusions sur cette idée la, qui il me semble favorise largement l’honnêteté intellectuelle (même s'il faudrait le montrer) et temporisent les excès de confiance ainsi que le manque. As tu des sources pour les articles dont tu parles ?
@@totolamenace je n'ai pas de sources malheureusement, je me base sur mes discussions avec un professeur à l'université où j'étudie qui m'expliquait les raisons pour lesquelles les QCMs à points négatifs allaient être interdits dans mon université et il expliquait ça par le biais de genre, j'ai retranscrit son argument
@@totolamenace je pense avoir un peu extrapolé, le biais de genre est au niveau de la réussite de ces tests, les filles réussissent moins ces tests que les garçons et les explications avancées sont la haute variance des garçons, si vous voulez comme la courbe de répartition des points serait plus étendue chez les mecs, on observerait bien un plus haut taux de réussite si la moyenne générale est en dessous du seuil de réussite
À chaud comme ça je dirais A: 0,25 B: 0,3 C: 0,1 (à la vue des remarques dans la vidéo et du contexte de cette série et du livre, j’ai un fort a priori en faveur d’une réponse ajoutée pour le piège...) D: 0,35 (il a tout fait ce Laplace...)
Salut Lê! J'ai un petit soucis avec le calculs des points. Imagineons que Jean pense que la réponse est de Moivre, mais n'a pas trop d'idée sur le reste, d'ailleurs il ne sait même pas si Laplace est Mathématicien, alors qu'au moins il a entendu parler de Bayes et Newton il répond alors: A: 15%; B: 60%, C: 15%; D: 10% --> il aura alors 0.785 points, ok. Paul pense aussi que c'est de Moivre, par contre il se doute que ce n'est ni Newton (pas un probabiliste), ni Bayes (qui a peu écrit), Laplace reste un candidat bien plus probable! Il donnera alors plutôt comme réponse: A: 5%; B: 60%; C: 5%; D: 30% --> il aura seulement 0.745 points, ce qui est moins que Jean. Jean a eu la chance de n'avoir aucun avis sur les 3 autres réponses, et Paul a eu le maleur de trop réfléchir... On pourrait défendre que mieux réfléchir aidera tout de même Paul dans les cas où il se trompe (si la réponse avait été Laplace, Jean aurait perdu beaucoup plus de points que Paul) et qu'en moyenne, mieux réfléchir payera, mais ça n'explique pas, selon moi, pourquoi Paul gagne moins de points que Jean sur cette question en particulier. Es-tu certain qu'il n'existe pas une meilleure méthode de notation?
Existe t-il un widget pour qcm bahesien? Par exemple un curseur que l'on déplacerai entre une réponse A et B. Ou trois curseurs, reglés au départ à 33%, lorsque l'on en déplacerait 1 cela influencerait les autres...
Il manque une étape qui explique comment obtenir la note finale de l'étudiant à partir du score obtenu via la notation quadratique. Dans le cas d'un QCM de 10 questions à 4 réponses possibles pour chacune, on peut théoriquement obtenir un score allant de -10 à +10. Sachant qu'on peut faire un score de 2,5 en mettant 25% à toutes les réponses et qu'une absence totale de connaissance sur un test devrait logiquement valoir un 0/20, il faudrait mettre 0 à tous les scores entre -10 et 2,5 ? Et pour les scores supérieurs, faut-il appliquer une échelle linéaire, ou y aurait-il une autre échelle qui représenterait mieux le degré de connaissance de l'étudiant ?
Ce serait extrêmement intéressant à mettre en oeuvre! Je doute que cela marche du premier cou... je risque de placer un certain nombre d’étudiants sur orbite avant que cela devienne automatique...
Si tu te dis : Pourquoi il n' y'a que des réponses de personnes connues sauf un qui semble plus obscure ? tu te dis qu'il y'a pas mal de chance que ce soit celui que tu ne connais pas. Il aurait fallu mettre au moins 2 personnes moins connue. Après, peut etre que Abraham de Moivre est connue mais je n'en avais jamais entendu parler.
Pourquoi ne pas essayer alors des questions où la réponse elle-même n'est pas unique mais également une distribution de probabilité entre les propositions ? Soit qu'il y a 2 bonnes et deux mauvaises réponses, soit que le résultat soit vraiment une distribution (la chèvre est derrière la porte A, la porte B, la porte C, il n'y a pas de chèvre).
Bonsoir! Je tenais a vous/tu vous dire que je trouvais le système employer pour calculer imparfait car injuste, en effet il ne prend pas en compte le facteur chance et le relègue a une valeur d' "ignorance". J'aurais plutôt calculer comme ça (exemples selon mes réponses) A: 10% B: 0% C: 30% D:60%, si l'ont envisage le calcule du point de vue de décimal l'ont peut calculer avec cette formule r = réponse n = nombre de réponses r*n / n (0.25) } facteur chance = fc x = la crédence en la bonne réponse x-fc = la somme de point dans mon exemples je dois recevoir un malus (de 0.25 p) pour avoir répondue a coter. Mais si l'on ne réponds qu'avec des réponse de r'n/n l'on ôter pas de point au élève se qui est bénéfice car avec cela l'ont peux endiguer les cas ou des élève répondes juste au doigts mouiller (comme moi dans mon exemple) .
Bonjour, j'ai une question, plutôt relative à une de vos vidéos plus anciennes, mais je ne sais pas si les commentaires sur vos anciens posts vous parviennent... Question donc : si je suis un parfait Hooligan intellectuel, et que j'attribue une confiance à priori totale à une théorie quelconque, j'aurais ainsi, dans mon équation de Bayes, le terme P[T]=1. L'équation de Bayes admettrait-elle pour autant un résultat ? Puis-je néanmoins avoir un résultat final P[T/D] inférieur à 1 ? Une manière de démontrer en quelque sorte que la certitude totale est impossible. Ou inversement, l'équation doit-elle admettre à priori une possibilité d'erreur de ma part ? Encore merci pour votre chaine. Amitiés probables :-)
Mais du coup comment tu calibres ce système pour que ça donne la réussite à 50%et que ça gradue une réussite jusqu'à 100% ? Tu démarres avec un capital donné genre 20% 30 % ou 50% plus toutes les notes obtenue à chaque question ? Tu pars ee 0%qui a possiblement avoir une note négative ?
Mise en pratique du caractère pro-honnêteté: Question 1: Je vais lancer en l'air une piece de 1 euro demain, sur quel cote tombera-t-elle? A) Pile B) Face Je vous laisse conclure en quoi l'exemple illustre qu'on DOIT correctement son vrai degré de credence.
Je serais pas contre faire passer ça à mes élèves. Du coup comment on gère quand il y a plusieurs bonnes réponses à cocher ? Par exemple si la question est "A implique B et B implique C donc :" et qu'il y a 4 propositions "1) A implique C 2) non C implique non A 3) non A implique non C 4) non A implique non B" Je veux qu'ils cochent 1) et 2). Du coup je considère que les bonnes crédences sont 50 50 0 0 ? Et je mesure les écarts de cette manière ?
Est-ce qu’on peut faire ça avec une réponse par intervalle de confiance? Je m’explique. On nous demande d’estimer une quantité (sans choix de réponses). On répond avec un intervalle de confiance. Le correcteur doit donner une note qui favorise l’honnêteté et la précision. Comment le correcteur doit-il s’y prendre? Btw je ne sais pas si la question est bien formulée.
@@Meric_N Je ne vois pas comment le correcteur doit attribuer les points. S'il donne 1 - 2 a^2 où a est le seuil de signification alors l'étudiant a avantage à prendre des intervalles très grands avec a très petit. La note attribuée doit aussi tenir compte de la longueur de l'intervalle mais je ne sais pas comment.
@@danodet une imprécision, ou une dispersion, c'est comme un bruit. Pour moi ça se mesure avec un écart type. Il doit être possible d'intégrer cette valeur dans la formule de notation. Voyons dans l'ordre ce qui est attendu : - la réponse est la bonne, et le sigma est faible - la réponse est la bonne, mais le sigma est grand - la réponse est fausse, le sigma est faible, et il contient la bonne réponse - la réponse est fausse, le sigma est grand, et il contient la bonne réponse - la réponse est fausse, le sigma est faible mais il ne contient pas la bonne réponse - la réponse est fausse, le sigma est grand mais il ne contient pas la bonne réponse. .... Mouais, pas si simple à intégrer. Faut que j'y réfléchisse.
Ok, tu as besoin d'une chose en entrée, c'est l'intervalle de tolérance de la réponse juste. Dès que tu as ça, il suffit de mesurer le rapport de la surface commune des 2 gaussiennes (réponse donnée D et réponse juste J) : si elles se superposent au moins un peu, on est au dessus de zéro points, si D est très éloigné de J on en n'a pas beaucoup, idem si J est petit devant D (intervalle trop grand), et si D fit avec J, on maximise les points. Et si D est faible devant J, on est même meilleur que l'attendu.
J’ai pas compris l’intérêt du calcul quadratique. Pourquoi se compliqué la vie alors que les résultats sont les probabilités déjà attribuées aux reponses. Il y a quelques chose que je ne comprends
Je ne vois pas pourquoi il faudrait forcement que ça fasse 100%. Intuitivement on peut étudier chaque réponse individuellement non? A: 1% B:40% C:10% D:80%
Sur ton exemple ca revient à tout regarder sur 131% et on peut le remettre à 100%. Vu que ce genre de test se corrigerait surtout sur les ordis, ça ne poserait pas de problème.
@@Phantoharibo Pas forcement, parce que en toute rigueur, il faut prendre en compte la probabilité que ce ne soit aucun des réponse ou plusieurs. Outre les pièges il y a aussi parfois des erreurs, donc les probabilités associées aux 4 réponses ne recouvrent pas l'ensemble des possibilités que je peut envisager. Ce qui fausse les probabilités. Pour que ça marche il faudrait être sûr d'avoir pris en compte toutes les possibilités. Mais surtout, ça dépend si on prends chaque réponse comme un événement indépendant ou comme des événements corrélés (comme par exemple un jet de dés, il y a un nombre de face déterminé, et on ne peut tomber sur deux faces à la fois, et encore le jet de dés peut être cassé).
Original cette façon de noter. L'inconvénient est qu'il faut que l'élève comprenne la notation et soit capable de raisonner de manière probabiliste donc ça ne serait pas applicable avant un certain niveau.
Je pense que ca serait une pilule un peu dur a faire avaler parce que la méthode de notation est un peu difficile à comprendre. Par contre une solution simple serait de simplement systématiquement rajouter une option "je ne sais pas" qui rajoute 0,25 pt à l'étudiant qui la coche là ou une mauvais réponse en rapportera 0.
A : 10% (on entend beaucoup parler de Newton mais j'ai pas l'impression que ça ait rapport avec les probabilités généralement) B : 10% (jamais entendu ce nom alors que j'ai déjà entendu parler de la "doctrine des chances") C : 40% D : 40% Résultat : -0.14 pt. Effectivement, j'aurais mieux fait de m'avouer totalement ignorant ! ^^
A: 5% B: 0% C: 15% D: 80% Raisonnement, je sais que tu es fan de Laplace, le trouve que le titre du livre sonne très bien en français pas tant en anglais, je ne connais pas Abraham de Moivre donc il n'a pas du produire beaucoup d'oeuvres connus,Laplace a travaillé sur les probabilité contrairement à ce que je sais des autres, Thomas Bayes aussi donc il a quand même 15% dans le doute.
@Science4All un moyen rapide et efficace de remplir de tels questionnaires me paraît important. En as tu déjà vu? Je serais prêt à développer une appli web type kahoot avec un tel système. Intéressé par une collaboration ?
Bonjour. Futur prof ici. Alors votre vidéo est très intéressante, mais léger problème pratique : vous parlez ici de QCU (Question à choix unique) et non de QCM (Question à choix multiple). Ma question du coup : quelle mise en pratique concernant les QCM ? Ici les élèves pourraient être amenés à répondre A 45% B 90% C 20% D 100%
En y pensant les qcm ont deux questions : quel sont le(s) bonne(s) réponses et combien elles sont. A moins que ce soit préciser va falloir y répondre avec des probabilités aussi.
Je suis très heureux que mon idée t’aie inspiré. Je ne suis pas professeur mais maître ce conférences, ce qui est un grade inférieur à l’université :-).
Je suis très content aussi que tu proposes un moyen pratique de mettre en œuvre cette idée. J’ai fait un essai qui a consisté à demander aux étudiants de « miser » un certain nombre de points sur leur réponses. Par exemple, pour une question à 2 points, ils pouvaient miser les deux points s’ils étaient sûrs de leur réponse, mais pouvaient aussi miser 1 point ou même 0. Si leur réponse était juste, ils gagnaient leur mise, sinon ils la perdaient. Il s’agissait d’une expérimentation non officielle qui ne comptait pas pour leur note du semestre. En pratique, j’ai obtenu presque autant de scores négatifs que de scores positifs peut être parce-que les étudiants ont préféré parier gros quitte à prendre un risque. Il y a un champ expérimental très intéressant à explorer avec ce genre d’outil, y compris peut-être dans le domaine de la psychologie.
Lors d’expérimentations (non Bayésiennes) avec des boitiers interactifs menées pendant une année avec des étudiants de niveau Bac+3 à bac+5, dans lesquelles je proposais toujours une réponse « je ne sais pas » à chaque question posée, j’avais constaté qu’il y avait toujours plus de réponses fausses que de réponses « je ne sais pas ».
J’aime bien ton approche et je suis enthousiaste à l’idée de l’essayer, mais je me demande comment, en l’état actuel des usages et habitudes, elle pourrait être perçue par les organes de gouvernance, et si elle pourrait choquer certains enseignants. Mais ce qui me parait être un argument solide, c’est qu’au final on récupère plus d’information qu’avec un QCM classique.
on assiste ici à ce qu'Internet peut offrir de mieux, encore merci pour votre idée, perso à peine Lê avait commencé à décrire le concept lors d'une pause déjeuner j'ai sauté d'enthousiasme en voyant toutes opportunités que ça offre, vivement l'implémentation et les nouvelles générations qui seront façonnées par ces nouvelles formes d'examination et qui seront probablement meilleures que les nôtres.
Il y a une dizaine d'année on avait expérimenté un système très proche (dans le cadre de la thèse d'un collègue : www.lip6.fr/actualite/personnes-fiche.php?ident=D562). Par contre on avait expérimenté avec des collégiens et la démarche n'était pas forcément facile à faire passer...
@@metalvinze Oui, c’est bien la même idée, et ça ne m’étonne pas que quelqu’un l’aie eu bien avant moi, et peut être que d’autres l’ont eue encore avant, car cette variation du QCM classique est somme toute assez naturelle. Nous sommes noyés dans une telle masse d’information qu’il est très difficile de savoir si une idée, un concept, un produit ont déjà été inventés, parce qu’on ne sait pas comment chercher et que les auteurs utilisent souvent des mots très différents pour présenter leurs découvertes. Je suis sans cesse confronté à ce problème dans mon activité de recherche. Un jour j’ai trouvé un truc élégant que j’ai écrit dans un article intitulé « A propos de la puissance d’expression de la propagation unitaire ». Or ce que j’avais (re)découvert était déjà publié sous le titre « Complexité de circuits et décomposition de contraintes globales ». Les mots sont tous différents et pourtant il s’agissait quasiment du même contenu. Aucun des re-lecteurs de mon papier ne s’en était aperçu. Le papier avait été rejeté pour d’autres raison. J’ai fini par me rendre compte de l’antériorité en faisant des recherches sur d’autres mots clés. Pour beaucoup de découvertes sans grandes difficultés techniques, notamment des algorithmes, il est souvent plus facile de réinventer une solution que d’en trouver une déjà publiée parmi les milliards de documents indexés par les moteurs de recherche du WEB. Comment organiser les connaissance pour les rendre plus facile à trouver ? C’est un vrai problème qui est encore, je pense, largement ouvert. La solution la plus fiable à l’heure actuelle est de mettre la main sur un expert humain du domaine concerné et de lui poser la question ! Mais ce n’est pas efficace à 100%.
@@ElMahdiELMHAMDI Il y a dans le domaine de l’évaluation des compétences une marge considérable de progression. En France, nous sommes friands des notes chiffrées mais est-on capable de donner un sens à ces notes ? Dans nos examens, la vitesse d’exécution des exercices proposés est souvent déterminante pour la note. Mais est-ce si important que cela en pratique ? Si un avion tombe dans la mer en raison d’une erreur d’algorithme, se demande-t-on si l’ingénieur qui l’a conçu a été assez rapide ? Tout comme dans le domaine des transmission des compétences et des savoir, j’ai l’impression que nos pratiques pédagogiques peuvent être largement améliorées. Je suis dans une démarche permanente d’innovation et mes méthodes d’enseignement et d’évaluation actuelles sont complètement différentes de ce que je faisais il y a 15 ans et de ce que j’ai vu lorsque j’étais étudiant : gamification, pédagogie par badge, droit à l’erreur…
Et je pense aussi qu’il faut rendre accessibles les ressources pédagogiques permettant au plus grand nombre le meilleur accès possible aux connaissances de toutes sortes. C’est ce que fait Lê avec sa chaine TH-cam, comme bien d’autres. Mais il faudrait rendre ces briques pédagogiques plus accessibles et plus faciles à intégrer dans des parcours d’apprentissage à la carte. Il y a beaucoup de choses à faire, vraiment. Nous n’en sommes qu’aux balbutiement. Si vous êtes intéressé par ces sujets, n’hésitez pas à me contacter.
@@OlivierBailleux sur l'antériorité : ça, c'est un problème qui n'épargne sûrement aucune discipline de recherche. Il y a des domaines où les publis sortent plus vite qu'on ne peut les lire (j'imagine que c'est le cas pour l'IA)...
Et comme ça, Elsevier Researcher Academy peut vendre des formations "how not to reinvent the wheel", "how to prevent research waste"...
"C'est ma dernière quantification, Jean-Pierre."
Ca permet de faire un QCM quantique aussi.
Le chat de Schrodinger est :
A - Mort (50%)
B - Bleu (0%)
C - Vivant (50%)
D - Botté (0%)
XiaLe Mai genie
😠 Tu l'as faite avant moi !
0,50
E - Un chat (100%)
(je déconne, mais je me demande comment serait formalisé une question avec réponse multiple)
@@rudypatard5700 Ah oui, tiens j'y avais pas pensé.
Je suppose que ça marche quand même, simplement on a l'autorisation de dépasser 100% dans les probabilités qu'on attribue. Et la somme cible est la somme des proba réelles (soit 1*n avec n le nombre de bonnes réponses)
Si on a mis
A : 50%
B: 0%
C: 50%
D: 100 %
alors qu'en vrai c'était:
A: 0%
B: 100%
C: 0%
D:100 %
alors on gagne :
2- (0.5-0)^2 - (0-1)^2 - (0.5-0)^2 - (1-1)^2
= 2 - 0.25 - 1- 0.25 - 0
= 0.5 points
Ensuite on peut pondérer en divisant par deux si on veut que chaque question ait le même poids (plutôt que chaque bonne réponse possible)
Ca me semble conserver les bonnes propriétés du QCM bayésien à choix unique, après faudrait que je regarde plus en détail.
"On nous encourage souvent à prendre position, et à défendre cette position comme si notre vie en dépendait. On favorise aussi souvent celui qui a un avis tranché et use, et abuse, de rhétoriques, de moqueries et d'appels à la meute pour la défendre. Malheureusement, le doute et l'incertitude légitimes sont rarement valorisés car les récompenses qu'on donne ne nous invitent pas à réfléchir en ces termes. ". C'est beau.
Super video comme d'habitude. Comme tu demandes des retours , voici mon expérience : je suis prof de maths en collège et, inspirée par tes videos et celles d'Hygiène mentale, j'ai décidé d'organiser dans mes classes de 4ème des "débats mathématiques bayesiens".
Sur des thèmes de débats que j'organise habituellement, j'ai demandé aux élèves de se prononcer sur la question en donnant credence en pourcentage . Ils doivent donner une credence a priori, puis Les données entrées par les élèves sont collectée, on en discute, on fait une schéma...puis on recommence à collecter les credences de chaque élève.
Étape suivante : chacun donne des argument pour défendre sa position. Puis on refait une collecte de credence. J'interroge les élèves qui ont change d'avis pour qu'ils analysent ce qui les convaincu. Un argument, ou encore l'avis de la majorité, l'avis dun élève à qui ils font confiance.
Ensuite, si ça na pas été encore fait, on donne un argument frappant que je valide moi même (jusque la je n'ai pas pris position).
Je refait une dernière collecte des credences des élèves en fin de débat.
Jai fait ce travail deux fois , notamment sur la question: les grandes diagonales du cube sont elles perpendiculaires.
Au début de l'activité, on voit que le degré de certitude des élèves dépend plus de leur confiance en eux que d'arguments rationnels.
Notamment les élèves habituellement en réussite en maths ont tendance à parier à 100% qu'elles sont perpendiculaires mais sont capables de changer d'avis par la suite. Des élèves moins confiants vont utiliser des degrés plus nuancés.
Certains élèves, rares, ne changent jamais de position et semblent imperméable à tout argument...
À la fin du débat on fait un retour sur ce qu'il aurait été plus prudent ("bayesien")
de parier au début (même pour un élève n'ayant pas intégralement compris la question ). En effet deux droites prises au hasard sont rarement perpendiculaires. Dans l'espace elles ont même de fortes chances de ne pas
être secantes. Cela donne une credence proche de 0%.En même temps, le cube est un solide particulier avec beaucoup d'angles droits... ce qui remonte un peu la credence.
Bref j'ai trouvé que ce travail permettait aux élèves de réfléchir davantage a l'étendue de leur ignorance, quel que soit leur niveau. Une eleve brillante est venue me voir à la fin de l'heure pour me dire qu'elle regrettait d'avoir pris position à 100% (en l'occurrence pour la mauvaise réponse )sans avoir d'argument indiscutable.
De manière générale je trouve que les mathématiques sont un bon bac à sable pour apprendre a bien débattre. Peu de hooliganisme chez les élèves, et surtout la sensation rassurante qu'on aura la réponse a la fin. Cela n'empêche pas de travailler sur la gestion de son incertitude.
Sa
Vraiment super intéressant!
Ca me donnerait même envie d'enseigner tout ça, alors que ça ne m'a pourtant jamais attiré ^^
Ne me demande pas pourquoi, mais lorsque j'ai écouté ton approche j'ai aussitôt songé à une notation qui ressemblerait au spectre de la lumière et à Condorcet également. Sacré foutoir entre mes deux oreilles j'en conviens! Merci Lê, toujours aussi interactif et didactique.
Y a sans aucun doute de bonnes propriétés communes entre les 2 approches. J'aimerai bien connaître rigoureusement leur proximité mathématique.
Hello!
À la HEP vaud des enseignants utilisent une version simplifié de ce que tu proposes appelée "degrés de certitude", où on donne une probabilité à l'ensemble des mauvaises réponses (en donnant la probabilité que la repose choisie est juste). J'ai travaillé avec ça pendant ma thèse. Dis-moi si tu veux qu'on échange, surtout par rapport à toutes les critiques que ces techniques soulevent..
2:09 "Un étudiant A peut obtenir une meilleur note qu'un étudiant B alors que l'étudiant A à mieux compris le cours que l'étudiant B"
C'est l'inverse non ?
Je pense aussi...
C’est juste une erreur
Nathan du chat sceptique enseigne à l'université, se serait intéressant s'il arrivait à mettre ça en place !
Alors la je suis bluffé cela me pousse également à réfléchir autrement et de la même façon à mieux apprendre pour mieux être sûr de mes réponses (améliorer mes crédences) je crois que je vais l'essayé sur certain de mes camarades et te faire des retours! Je crois que cette méthode devrait être adopté par nos professeur et je leur mettrais en référence ta chaîne! Merci encore Lê!
Parier en terme de probabilités sur les réponses d'un qcm, c'est tout le propos du jeu TV «Money Drop», présenté par Laurence Boccolini il y a quelques années sur TF1. Le gros problème du jeu reste malgré tout le fait que les candidats jugeaient très mal l'étendue de leur ignorance.
En cela c'est un excellent jeu : cela pousse l'individu lambda à toucher du doigt la valeur du doute, en faisant payer ce besoin culturel ridicule d'avoir des certitudes.
Et les QCM avec indice de certitude ? Nous on doit rajouter un indice et plus il est élevé, plus on gagne de point si la reponse est juste, moins on en pert si elle est fausse
Un gros défaut de la formule présenté ( 9:12 ) :
Pourquoi, pour B vrais, celui qui aurait répondu "0 25 75 0" aurait -0.125 et celui avec "25 25 25 25" aurait +0.25 ?
Les 2 ont attribué 25% à la bonne réponse, et 75% à des mauvaises, et donc il me semblerait adapté que les 2 aient la mème note.
La solution intuitive serait de calculer 1 - (1 - annonces vrais)² - (somme des annonces fausses)² ; il faudrait vérifier que ça conserve la véracité garantie.
Paul Amblard C'est l'angle mort de la méthode. Les résultats souhaitables n'ont pas été définis, ni démontrés.
D'autant que dans l'exemple que vous citez, 2 points de vue opposés se défendent :
1- le répondeur a bien su éliminer 2 mauvaises réponses, on peut considérer qu'il est plus proche que qq1 resté dans l'indécision.
2- le répondeur a justement marqué son ignorance, là où le 1- a clairement marqué une quasie certitude pour C
Par ailleurs crédence marque trop la tendance à prendre tels quels les termes anglais. Vraisemblance ou Certitude seraient appropriés, avec une préférence pour Vraisemblance, qui ne porte jamais sur la personne mais sur l'assertion elle-même, ce qui réduit un biais de confiance en soi soulevé supra.
c'est super! Une application pratique du bayésianisme qui est relativement facile a mettre en place!
Le problème principale que je vois c'est que ça favorise, peu-importe le sujet, les gens doués pour faire des calculs bayésiens d'estimation des probabilités. Donc si tu estimes bien les probabilités en général, tu auras une meilleure note. C'est peut-être une qualité utile en générale mais du coup on ne juge plus que la matière de l'examen.
Sinon intéressant j'en conviens, j'aimerais bien voir ça a l'EPFL :)
Je pense plutôt qu'on juge ici 2 choses : le degré de certitude, et la capacité à raisonner de façon rationnelle ; La précision dans l'attribution des probas étant secondaire dans la note globale.
Je crois que ce sont 2 qualités importantes à mettre en avant dans le cadre d'une "hygiène intellectuelle".
Oui. De même qu'avoir un mauvais niveau en français va défavoriser l'étudiant dans les examens de type "rédaction".
Merci pour cette vidéo! Il me reste encore une évaluation avec des ingénieurs en dernière année je pense qu'ils vont y passer hihihi
Mais j'aime beaucoup les faire vraiment raisonner en leur demandant d'expliciter une démarche et d'exposer leur pensée.
Ce type de QCM serait donc un complément...
Dans ma fac en Belgique, il y avait un système de QCM plutôt bayésien, avec coefficient de certitude : en plus d’indiquer la réponse à laquelle on pensait, on donnait un coefficient entre 0 et 5 (beaucoup plus simple à corriger qu’une estimation sur chaque réponse). Par exemple si je me souviens bien, un coefficient de 0 donnait 0,65 points en cas de réponse juste et 0,2 points en cas de réponse fausse, tandis qu’un coefficient de 5 donnait ou retirait un point complet. Il y avait en outre des systèmes pour éviter une réponse juste par élimination, notamment on pouvait choisir « aucune de ces réponses » ou « plusieurs de ces réponses » (ce qui permet aux crédences de l’étudiant de ne pas être trop influencées par les réponses proposées)
C'est bien +pratique et lisible. Les histoires de % ne s'exporteraient au-delà du cours de maths.
Heureux d'apprendre que ça se pratique.
J’ai déjà eu pareil ! (En Belgique aussi)
Absolument captivant. Hâte de voir des mises en œuvre ou des retours d'exp.
Merci Le
Prière bayésienne (une mauvaise tentative):
"Nos ancêtres dans le ciel,
ton nom soit sanctifié,
votre postérieur vient,
votre attente soit calculée,
approximativement ou asymptotiquement.
Donnez-nous aujourd'hui notre gradient quotidien.
Pardonnez-nous nos prieurs impropres,
comme nous pardonnons à ceux qui font une inférence aveugle
Il y a un jeu télévisé assez proche de cette idée, c'est money drop. Le principe : on commence avec une certaine somme d'argent, et à chaque question, on doit répartir l'argent sur chacune des réponses possibles. On ne conserve alors que la somme d'argent qui était sur la bonne réponse, et on continue comme ça pendant 6 ou 7 questions.
J'avais trouvé le concept très intéressant, parce qu'on constate effectivement que les candidats misent rarement tout leur argent sur une seule réponse quand ils ne sont pas sûrs. Donc ça encourage bien l'honnêteté intellectuelle, et ça c'est cool :)
Putain, t'as raison : money drop est un jeu bayésien ! je l'avais pas vu venir celle-là 🤣
sauf que dans se jeu, pour maximisé l'espérance, il faut tout mettre sur celui le plus probable.
(après, on ne souhaite pas toujours maximisé l'espérance. on peut préféré gagner 1000€ à coup sur que de gagner 4000€ avec un probabilité de 30%)
@@paulamblard3836 bah, exactement : c'est une question de stratégie, tu ne cherches pas forcément à maximiser l'espérance.
Merci beaucoup pour cette vidéo, l’idée du QCM bayésien est excellent !
Excellent ce que tu proposes là. Encore une fois :)
Quid par contre de la facilité de correction de celui-ci ?
Si examen sur machine, oui. Mais il faut encore savoir pouvoir le programmer.
Sur papier... plus fastidieux. il faut là encore un gros travail préparatoire et en plus le traitement de données reste long.
Enseignant en primaire, je trouverai ça chouette de l'explorer , en binôme ou plus par exemple.
Mettre des carré pour les réponse et utiliser un algo de reconnaissance de caractère (comme les code posteaux sur les lettres).
...Tient, ça fait une idée d'application mobile à développer !
J'adore.
Un QCM qui développerait l'honnêteté.
Bon courage pour les partenariats 😉
Hello ... merci pour tes vidéos fort instructives .... dans un registre semblable, celui de l'évaluation, mais appliquée à la démocratie et au choix je te propose un lien vers la loi électorale du canton de Berne, en Suisse . J'habite Genève et j'y ai enseigné les maths pendant près de 40 ans ... :-). La Suisse est un état fédéral. Les 26 cantons ont chacun un gouvernement législatif ainsi qu'un exécutif (qu'on nomme Conseil d'Etat). Le conseil d'Etat est composé de 7 membres, l'équivalent des ministres en France. On évite de désigner un président tout puissant comme en France (le président change tous les ans par tournus), et on se soucie pas mal des minorités. Le canton de Berne est constitué d'un grande majorité d'électeurs germanophones (presque un million) et une minorité de francophones (le Jura Bernois) qui compte environ 50.000 personnes. Par souci de préserver les droits des francophones, la loi prévoit qu'un membre du conseils d'Etat sur les 7 doit être issu de la minorité du Jura Bernois. C'est louable d'avoir assigné un siège de l'exécutif d'office à cette minorité. Oui mais comment adapter la loi électorale ???? Il faut que tout le peuple du canton puisse se prononcer sur le 7eme candidat, mais les jurassiens bernois ne souhaitent pas non plus que la majorité écrasante du reste du canton puisse peser trop dans la balance lors des votations .... il fallait donc trouver une formule qui permette à tous de voter, mais qui donne un poids prépondérant à cette minorité .... La solution retenue est d'élire le candidat de la minorité linguistique selon la règle suivante :
Art. 107
2. Représentation du Jura bernois au Conseil-exécutif
1
Le siège réservé au Jura bernois est attribué sur la base de la moyenne géométrique (art. 85, al. 4 de la Constitution cantonale). Elle se détermine comme suit: les suffrages recueillis par chaque candidat ou candidate sont comptés séparément à l’échelle du canton et à celle du Jura bernois, dans le but d’en calculer le produit. La moyenne géométrique correspond à la racine carrée de ce produit.
2
Si le candidat ou la candidate du Jura bernois qui a obtenu la meilleure moyenne géométrique n’atteint pas la majorité absolue au premier tour, le siège reste vacant lors de la répartition des sièges.
ref : www.belex.sites.be.ch/frontend/versions/14?locale=fr
En 2014, l'application de cette formule a permis l'élection d'un candidat qui avait obtenu une meilleure moyenne géométrique, bien qu'ayant totalisé moins de voix que son concurrent ....
ref www.sta.be.ch/sta/fr/index/wahlen-abstimmungen/wahlen-abstimmungen/wahlen/wahlen_2016/hintergrundwissen.html
La moyenne géométrique, contrairement à la moyenne arithmétique (même pondérée) 'favorise' les petites valeurs .Ce que je ne sais pas, c'est : combien d'électeurs ont vraiment compris cette formule et pourquoi elle est ainsi formulée. Mais tout le monde l'accepte. Et ce dans un cadre très important puisqu'il s'agit du pouvoir politique. Comme la Suisse est un pays avec 4 langues nationales, certains ont proposé d'appliquer une formule équivalente au niveau fédéral. ...... mais on est pas sorti du sable à mon avis :-)
Le problème que la notation que tu nous propose me pose :
En PACES à Descartes on perdait énormément de points à cause :
- du manque de temps pour répondre aux questions (perso je zappais systématiquement la thermodynamique et la dosimétrie car elles étaient notées sur trop peu de points en comparaison du temps qu'il me fallait pour faire tous les calculs, même si je savais systématiquement tout faire)
- des erreurs de calculs (perso j'ai passé plusieurs épreuves en sentiment de stress voire de panique et j'exaggère même pas)
- des questions coup de putes genre "cocher les items faux", on zappe toujours ça
- de pièges sur "celà montre" qui est faux car "celà suggère" juste en vrai (argh en biologie moléculaire un prof était spécialiste)
- des questions mal posées car si pas rigoureuses (les autres profs que celui de biomol disaient toujours "celà montre" alors qu'en vrai ça "suggérait" juste ! Enfin on trouve des exceptions partout en médecine donc a quoi bon etre pointilleux bref
-des images d'anatomie radiologiques où les flèches étaient mal placées (si si..., personne averti et épreuve pas annulée)
- d'autres coups de putes : un item a trop de chiffres significatifs donc fallait répondre "E : aucune réponse n'est exacte", de l'en**lage de mouches sur des concepts de bioéthique, de la malnotation où des trucs ultra durs sont notés presque rien alors que t'as pas eu le temps de répondre aux questions ultra faciles à la fin de la copie, les chapitres qui ne tombent pas aux partiels donc cadeau à ceux qui ont fait l'impasse, etc
Enfin voilà pour rendre un QCM juste le QCM bayésien c'est sympa mais c'est une goutte d'eau dans la mare
La c'est juste des questions mal posées et mal pensées. Même si c'était pas des QCM, ce serait injuste.
Très sympa comme concept, je cherchais justement un mode d'évaluation pro honnêteté intellectuelle.
Je m'interroge cependant sur la méthode de correction. Aujourd'hui les étudiants remplissent des cases pour répondre aux QCM, ce qui est facilement détectable lors du scan pour la correction. Même les nombres sont à remplir sous forme de cases à griser (ex. le numéro de l'étudiant où il doit griser le chiffre des unités, puis des dizaines ... en utilisant un tableau de 10*nb_chiffres). Si on utilise un QCM bayésien, cette méthode n'est plus possible (ou alors il faudrait un tableau de 10*2 par réponse :/). Il faudrait alors soit pouvoir reconnaître les chiffres tracés par les étudiants (ce qui peut être imprécis), soit trouver une autre méthode pour numériser la réponse de l'étudiant.
Des notes /5 apparaissent comme un bon compromis. Et peuvent se matérialiser sous la forme de petites cases à cocher. Au lieu de dire ABCD 20%,0%,60%,20%, le candidat coche 1 pour A, 0 pour B, 3 pour C etc. C'est simple, utilisable par un étudiant en philo et scannable. Et quand on observe les réponses, la granularité du % est bien suffisante.
Une manière de faire écrire des chiffres relativement simple et scannable (enfin je crois, je n'ai aucune connaissance dans ce qui est scannable ou pas), serait de laisser à côté de chaque réponse 2 paquets de 6 points et les étudiant.e.s devraient les relier pour former des chiffres de la même forme que sur les micro-ondes, calculettes, etc.
J'avais raison ! (à moitié)
A : 5%
B : 50%
C : 15%
D : 30%
J'ai évidemment flairer l'arnaque et voté pour la personne que je ne connaissais pas :D
Sinon j'ai remarqué que ce système de notation quadratique puni très fortement le fait de mettre 0%. Par exemple, dans le cas d'une question à deux choix :
- voter A:100% et B:0% conduit à avoir une note de 1 ou -1 selon que l'on ce soit trompé ou non
- Voter A:90% et B:10% revient à obtenir une note de 0.98 ou -0.62
S'accorder une marge d'erreur donne une perte négligeable de 0.02 points dans le cas ou notre réflexion s'est révélé juste et un gain de 0.38 points à l'inverse.
Est-ce que ça veut dire que si j'ai une incertitude sur mon incertitude, j'ai intérêt à surestimer mon incertitude ?
Pour savoir, faut faire les calculs!
Suppose que la question c'est "est-ce que le résultat de ce dé à 100 faces qu'on vient de lancer est entre 1 et 99? A:oui B:non".
En bon bayésien, sans plus d'information, on a envie de voter A:99% B:1%. Dans ce cas la méthode quadratique d'évaluation nous donne:
- quand le dé a fait "100": 1-0.99²-0.99²=-0.9602
- quand le dé a fait entre 1 et 99: 1-0.01²-0.01²=0.9998
Si le dé est équilibré on a donc une espérance de gain de 0.01*(-0.9602)+0.99*0.9998 = 0.9802
Si on décide de surestimer son incertitude (et de par exemple voter A:98% B:2%), l'espérance de gain devient 0.01*(1-0.98²-0.98²)+0.99*(1-0.02²-0.02²) = 0.98 : c'est moins bien !
Par contre là où on peut avoir intérêt à surestimer son incertitude c'est si notre objectif n'est pas d'avoir la meilleure espérance mais plutôt de maximiser ses chances d'avoir la moyenne. Si c'est la dernière épreuve de l'examen et que je sais qu'il me suffit d'avoir 0.5 pts de plus pour être reçu j'ai tout intérêt à mettre A:50% et B:50%, quelles que soient mes réelles crédences.
@@anneaunyme Dans ton exemple, on connait parfaitement l'étendue de notre incertitude. Il n'y a aucun doute sur le fait que sur un grand nombre de lancé, on obtiendra 99% du temps A:oui
Or ma question portait sur les cas dans pour lesquels on a une incertitude sur notre réponse probabiliste (ce qui semble être assez courant en pratique). Par exemple pour la question de l'épisode, j'ai répondu A:5%, mais j'aurais très bien pu mettre 2% ou 10% (mais pas trop moins et pas trop plus). Dans ce cas, j'ai l'impression que j'aurais intérêt à mettre la valeur maximale.
J'ai fait quelques tests :
Imaginons un QCM à deux choix A et B dont le résultat est aléatoire (par exemple 5% de chance que la bonne réponse soit A). Maintenant, imaginons que cette probabilité soit elle même aléatoire (par exemple répartie uniformément entre 0% et 10%). Alors il semble que l'on aurait intérêt de répondre A:5% au QCM pour maximiser l’espérance. De même pour des distributions normales ou log normales paramétrées de sortes que la probabilité la plus probable soit 5%.
Ainsi, si l'on considère le résultat aléatoire du QCM comme notre incertitude et la distribution de cette probabilité comme l'incertitude sur l’incertitude, il semblerait que maximiser nos chances reviendrait à répondre la probabilité la plus probable (ou la moyenne dans le cas de la distribution uniforme), ce qui correspond avec la réponse "honnête".
Bon en fait je suis toujours pas convaincu parce que mon raisonnement précédent considère que l'on calcule parfaitement ces fameuses incertitudes. Et j'ai toujours l'intuition que dans le cas ou l'on est incertain, il vaut mieux augmenter les pourcentages proches de 0% et diminuer ceux proches de 100% (par rapport à notre intuition/raisonnement final).
La question de proposer un choix multiple avec la "bonne propriété" que le meilleur choix soit la vrai préférence rappelle beaucoup le problème du mode de scrutin évoquée dans la série sur la démocratie. Le Lê de 2017 avait exprimé sa préférence pour le scrutin de Condorcet randomisé.
Peut-on faire un parallèle entre ces 2 sujets ?
On pourrait appliquer Condorcet aux QCM, en demandant aux candidats de classer les réponses par ordre de vraisemblance supposé. On note ensuite le candidat selon le rang où la bonne réponse apparaît. (Plus la bonne réponse apparaît dans le premier choix, meilleure est la note).Je ne sais pas si cette solution a plus de bonnes propriétés que la méthode proposée ici.
Réciproquement, un mode de scrutin basé sur le bayesianisme est-il envisageable ? Devrait-on considérer le scrutin de Condorcet comme bayesien du fait (en quelque sorte) que l'on vote pour une loterie (un processus stochastique).
Il y a un point qui me chiffonne , dans la vidéo tu ne justifies absolument pas pourquoi tu préfères choisir une méthode quadratique et j'aimerais bien comprendre ce qui te pousse à la choisir plutôt que la logarithmique ou la sphérique par exemple. La simplicité de calcul ne change pas grand chose vu qu'on va probablement rentrer les crédences dans un programme plutôt que de calculer à la main. Du coup pourquoi?
Un autre point que je trouve intéressant c'est quand tu dis "un individu qui marque un nombre de points négatifs est un individu qui d'une certaine manière se trompe plus qu'un individu ignorant". Est-ce que tu penses vraiment que cet individu se trompe plus? Je pose la question parce que j'ai un point de vue assez différent (pour une raison mathématique et une autre raison plus philosophique) : l'individu en question a une vision de la réalité plus éloignée en norme quadratique de la réalité que le parfait ignorant. Et ça c'est quand même lié au choix de la distance que tu utilises : tu auras beau utiliser une distance pro-honnêteté elle n'est pas neutre sur la manière dont tu vas évaluer la réponse, ce qui ramène à ma première question : pourquoi la norme 2?
Et mon deuxième argument : tu peux donc mesurer l'éloignement des réponses d'un individu à la réponse réelle, mais est-ce que cela veut dire se tromper plus? J'ai du mal avec l'idée d'utiliser une relation d'ordre sur le fait de se tromper parce que j'ai l'impression que cela stigmatise les erreurs, et qu'un étudiant pourrait alors avoir tendance à se replier sur une stratégie qui rendrait ses erreurs le moins visible possible (quitte à ce que sa note soit un peu plus basse) par peur du jugement. Qu'est-ce que tu en penses?
Le concept est vraiment génial ! Je pense que cela va en effet de développer quand il aura été compris par suffisamment de créateurs de QCM
Très intéressant cette approche bayésienne. Et si on ajoutait un peu d'aléa dans la répartition des réponses ? Au lieu de proposer une réponse uniquement on pourrait partager le point pour chaque question en le nombre de réponses justes. Et par exemple pour une question à laquelle on propose 5 réponses on pourrait faire varier le nombre de réponses correctes de 0 à 5 avec du coup :
1) Pour le cas où aucune réponse n'est valide on attribue 1 point au candidat qui ne coche aucune case et -0,20 par case cochée
2) Pour le cas où une seule réponse est correcte on enlève 0,20 par mauvaise réponse et +1 pour la bonne réponse donc celui qui cocherait tout aurait 1 - 0,8 = 0,2
3) Pour le cas où deux réponses seraient correctes on enlève 0,20 points par mauvaise réponse et +0,5 pts par bonne réponse donc celui qui cocherait tout aurait 1 - 0,6 = 0,4
4) Pour le cas où trois réponses seraient correctes on enlève 0,20 points par mauvaise réponse et +1/3 pts par bonne réponse donc celui qui cocherait tout aurait 1 - 0,4 = 0,6
5) Pour le cas où quatre réponses seraient correctes on enlève 0,20 points par mauvaise réponse et +0,25pts par bonne réponse donc celui qui cocherait tout aurait 1 - 0,2 = 0,8
Après on peut également jouer sur le nombre de réponses proposées pour varier les possibilités. Du coup les candidats seraient obligés de réfléchir à des stratégies différentes pour chaque question ce qui, même s'ils n'ont pas révisé, les forceraient quand même à faire des maths.
Qu'en pensez-vous ?
j'avais une idée (pas réalisable) au lycée (vers 2012) qui se rapproche de ce principe d’avoir "plus" d'infos, des infos plus précise : c'était de ne pas juste ce fier à une moyenne général, ni même aux moyennes de chaque matière, ni même au notes des contrôles, mais des exos en eux même. Ce qui compte le plus, c'est pas les "chiffres" , mais c'est le contenu, ce qu'a écrit l'élève, mieux pourquoi il a écrit ce qu'il à écrit. (Merci a ton slogan : "pourquoi pensez-vous ce que vous pensez" ). Du coup j'étais vraiment pas fan des QCM qui rajoutaient une couche de flou. Mais avec le QCM Bayésien, là je redeviens ami avec ^^
L'idée d'Olivier a été mise en place il y a plus de 20 ans à l'université de Liège (Belgique) dans la faculté de Psychologie et de Sciences de l'Education. (ou du moins, une idée proche) : En plus de choisir une des 5 propositions du QCM, nous devions donner nos certitudes quant à la justesse de la réponse. En fonction de la certitude que nous affirmions, nous pouvions gagner plus ou moins de points si la réponse était juste, mais aussi en perdre plus ou moins si la réponse était fausse. Je me souviens qu'on pouvait gagner ou perdre 20 points si on était complètement sûrs et que si on était vraiment pas sûrs, on gagnait genre 5 points et on en perdait 1.
Si une personne assigne A:33% B:0% C:33% D:34%, est-il "normal" qu'il obtienne une meilleure note que celui qui assigne 100% à A,C ou D ? Dans les deux cas ils sont sûrs que ce n'est pas B. Mais dans un cas la personne est aussi sûre que ce n'est ni A ni C (ou A/D, ou C/D), ce qui est vrai.
Concrètement, si je suis sûr que ce n'est pas B (je me trompe donc sur ce point), il vaut mieux pour moi n'avoir aucune autre connaissance me permettant d'éliminer une des autres propositions. Si je sais que ce n'est pas A, et vote C:50% et D:50%, et j'ai -0,5. Si je sais que ce n'est ni A ni C, je vote D:100% et j'ai -1. En ne sachant rien sur A, C et D, je vote A:33% B:0% C:33% D:34% et j'ai -0,3. Pourrait-on corriger ce phénomène en n'imposant pas d'atteindre le total de 100% ?
oui c'est normal, si t'es certain que c'est pas B, et que tu met 100% à A, alors que c'est B, bah t'es pas juste ignorant, t'es pire encore, donc c'est normal d'être pénalisé en conséquence.
Bonjour à tous. Merci Lé pour cette vidéo inspirante et de qualité et à Oliver pour l'idée de départ.
Je trouve l'idée du questionnaire Bayésien intéressante et qui à le mérite d'être testable pratiquement par les enseignants.
J'enseigne et suis moi même très curieux de tester cette méthode pour mes évaluations. En commençant à l'implémenter plusieurs questions me viennent et j'aimerais avoir vos avis :
1. Comment étendre la méthode lorsque l'on veut proposer plusieurs réponses correctes, en particulier avec la notation quadratique ?
2. Un étudiant ignorant qui répondrait 25% à toutes les questions se verrait attribuer un score d'un quart de la note totale, alors qu'un étudiant ne répondant pas du tout aurait 0. Bien sur on pourrait forcer la réponse, mais je me demande si cela ne risque pas de forcer un comportement stéréotypé: j'ai l'intuition a priori que cela pourrait inciter les étudiants à répondre uniformément 25% dés qu'ils auront le moindre doute ...
De plus cette stratégie pourrait octroyer 1/4 de la note à des étudiants complètement ignorants mais ayant compris les "incitatifs" de cette stratégie.
Qu'en pensez vous ? Je serais ravi d'échanger de manière approfondie sur le sujet
L'équipe du Curieux Festival est fan de cette vidéo et l'a ajoutée à sa "Curieuse playlist" :)
Ma tentative de réponse :
A : 12.5%
B : 20%
C : 30%
D : 37.5%
J'ai absolument aucune idée de la réponse mais comme on est sur ta chaine ça boost beaucoup ma crédence dans le fait que ça tombe sur laplace, cela dit le titre semble cohérent avec bayes donc il à droit à un petit bonus. J'ai jamais entendu parler de moivre donc j'évite de trop baisser sa proba, et ça laisse newton que je met à un niveau assez faible parce que j'ai jamais entendu parler du bouquin et au vu du titre ça me parait pas être le genre de truc qu'il écrirait.
Mais on est pas sure des pourcentages très solides =p
très intéressant comme système, mais ça manque de maths un peu. Elle est où la preuve que c'est la meilleur stratégie de donner ses vraies crédences ? :)
Je suis étudiant en maths option physique dans une fac allemande dont je tairais le nom. J adorerais balancer cette vidéo à mon prof de Computeralgebra (en ce moment il fait des QCM de salaud ^^)mais il y comprendrais rien, ba oui l Allemagne... enfin bref merci pour ton contenu, j attends d avoir assez de temps pour éventuellement te communiquer une traduction
Tu lui fait 2 slides dans une langue qu'il comprends, ça suffirait très probablement à transmettre l'idée.
A->1
B->33
C->33
D->33
À moins que je ne me trompe, ça me donne un score de +0.33 (et quelques). C'est vraiment beau je trouve, il y avait une réponse que je savais ne pas être celle-là, mais je n'avais aucune idée pour les trois autres. J'avais "compris" un tiers du sujet quelque part, et ça se voit dans le score. C'est propre.
(Même si c'est assez évident pourquoi je trouve 0.33 en regardant la formule appliquée, je trouve ça beau quand même...).
Ça me fait un petit peu penser à Money Drop aussi lol. Voilà voilà...
Je me souviens d'un prof (management...) qui expliquer qu'il fallait encourager les étudiant à répondre aux questions sur lesquelles ils n'étaient pas compétent car gérer, c'est aussi gérer la prise de risque.
C'est à dire qu'il pensait pouvoir tester la chance du candidat..
Passionnant. Une remarque : les QCM ont un inconvénient sur le plan pédagogiques : ils ancrent une association entre la question et les mauvaises réponses avec un risque d'implater des erreurs dans la mémoire de l'élève. Il serait donc conseillé de ne pas préparer les élèves avec des Qcm...
Je tente :
je met A : 20%. B : 10%. C : 35% et D : 35%
Je met moins à B car jamais entendu parler. Je met plus à C et D car ce sont des écrivains que tu adore et que tu as beaucoup lu.
Ah merde perdu...
ça me fait combien ça ? 0.10 pts ?
Par contre c'est super cette vidéo, je crois que y'a pas plus concret pour une application du bayésianisme dans la vie quotidienne ! Génial ! Merci !!
A la toute fin, y'a Julia Galef qui parle mais dessous c'est écrit que c'est "la statistique expliqué à mon chat"
Qui s'occupe des propositions de réponses ? C'est important.
Test 1 (super dur) Qui a écrit "Critique de la Raison pure" ? :
A. Nabilla.
B. Kant.
C. Ribery.
D. Van Damne.
Test 2 Quel athlète tchèque est le premier décathlonien de l'histoire au-dessus des 9000 pts ? :
A. Romano Šebrle.
B. Roman Šebrele.
C.Roman Šebrle.
D. Romano Šebrele.
Ça, ça change pas : bien juger de la compréhension d'un sujet, ça a à voir avec le talent de l'examinateur d'une part, et son niveau d'exigence d'autre part.
Mais un QCM bayésien ne risque t'il pas de favoriser ceux qui on de meilleures compétences en probas ?
Or c'est pas forcément ce que souhaite tester le QCM.
La consigne "répondre honnêtement rapporte le maximum de points" est une consigne assez simple, et le différentiel entre ceux qui suivent bêtement cette consigne et ceux qui la comprennent sur le plan statistique serait négligeable, car tous ceux qui suivent cette consigne en bénéficieraient.
@@ludovicduvillage6760 Mettre 100% sur la bonne réponse rapporte le maximum de points.
Je ne vois pas en quoi le fait que tout ceux qui suivent cette consigne en bénéficient implique qu'il en bénéficient de façon équivalente.
Ni quel sens donner à "honnêtement" dans ce contexte.
@@alo.785
Oui en lisant d'autres posts je réalise que j'ai peut être mal compris ton post.
Je sous-entends : "à chaque fois qu'on est pas sur et certain de la bonne réponse, si on suit la règle de notation que propose Lê, alors répartir "honnêtement" la crédibilité qu'on accorde à chaque réponse aura tendance à nous faire gagner plus de points que de parier 100% sur la réponse qu'on estime être la plus vraisemblable (cette dernière stratégie ne correspondrait pas à une réponse "honnête" par rapport à ce qu'on estime réellement)
Si tu sous entends que les meilleurs en proba auront de meilleurs résultats car ils comprennent mieux la consigne, je pense que cet effet sera très faible, car on peut comprendre la consigne assez intuitivement, avec la notion suivante :
"Quand vous n'êtes pas sur, répondez honnêtement par rapport à ce que vous pensez réellement, sur le long terme ça aura tendance à vous faire gagner plus de points. (plutôt que de tout parier sur une seule réponse)"
Par contre il est vrai que ceux qui savent mieux exprimer leur réponse sous forme de pourcentage représentatifs de leur croyance auront un avantage.
Par exemple si un étudiant pense que la bonne réponse est la réponse A et qu'il est sur de lui, presque certain, et qu'il croit sincèrement que ça correspond à une attribution de 80%, alors il sera désavantagé (même s'il a bien compris la consigne) Ce n'est pas sa compréhension de la consigne qui le désavantage, c'est sa capacité à attribuer des pourcentage qui reflètent correctement ses estimations.
Vu sous cet angle alors oui, les meilleurs en proba sont favorisés.
Cela dit, les meilleurs en "français" sont clairement favorisés pour les examens classiques "dissertation"
J'ai aussi vu un système intermédiaire où l'étudiant peut cocher deux réponses, et si une des deux est la bonne il a 0.5 points, mais si les deux sont fausses il perd 1 point au lieu des 0.5 pour une erreur habituelle (et s'il ne réponds rien il gagne 0.25 points).
J'ai toujours trouvé ces valeurs arbitraires, je trouve que la méthode que tu présentes est mieux justifiée et elle permet aussi de gérer les réponses multiples.
Par contre, pour la mettre en pratique il me semble qu'il y a plusieurs obstacles :
Cela peut ralentir certains étudiants plus que d'autres (en particulier ceux qui sont lents pour calculer, ou qui ont du mal à quantifier leurs crédences).
Un étudiant pourrait vouloir "diminuer les risques", quitte à diminuer son espérance, et donc choisir des valeurs plus proches de 25% pour chaque réponse. Même un étudiant qui a tout compris pourrait hésiter à mettre 100% sur chaque bonne réponse, et donc n'aurait pas tout les points. Le pire c'est que cela dépend de la personnalité des individus donc ça serait potentiellement discriminatoire selon des critères indépendants de ceux évalués.
Les copies ne seraient corrigeables que numériquement, là où le qcm classique peut être corrigé sur papier (mais je ne suis pas enseignant donc peut être que ce n'est pas important).
Ca a l'air génial comme concept.
Bonjour et merci pour cette vidéo, super intéressante. J’ai une question qui pourrait fort compliquer la chose ( ou pas). Si on considère que toutes les réponses ne se valent pas ? Par exemple je pose la question « Quelle est la couleur du tee-shirt de Lê dans cette vidéo avec les propositions « bleu - rouge - Orange - rose ». Je peux est!mer que « orange » est la bonne réponse, suivi de « rouge » qui est pas trop déconnant, puis « rose » qui est pas bon et enfin que « bleu » est carrément mauvais. Puis-je considérer que la bonne réponse en probabilités est 0 - 30 - 60 - 10 et ça me sert de base pour ma distance quadratique ou pas ?
Ne serait-il pas judicieux d'utiliser le QCM bayésien comme fonction de coût pour des algorithmes de deep learning, en particulier de classification ?
ça dépend de comment tu vas exploiter les donné en suite.
Si tu doit prendre une décision seulement selon le résultat qui a été estimé le plus probable, seul lui compte. (mais dans se contexte, ça peut peut-être aider au début de l’apprentissage)
Si tu fait une voiture autonome qui vat freiner mème si elle estime qu'il y a seulement 10% que se qu'elle voit sois un piéton, c'est probablement une bonne idée.
C'est à dire : ne donner libre choix à l'algo que dans un cadre donné de réflexion prédéterminées. Pas con.
il me semble que ça résoud en partie la complexité du dénominateur de la formule de Bayes ("toutes les autres possibilités"). Je sais pas à quel point ça existe ou pas, mais ça mérite clairement une attention.
Plutot sympa ces QCM, merci pour cette vidéo.
Je suis enseignant depuis peu et je ne sais pas si j'aurais l'opportunité de réaliser des QCM, mais si oui je testerai ça.
Mais par contre on est d'accord que les réponse 0% ; 100% ; 0% ; 0% contredise ce que tu as dit et défendu plusieurs fois avant, comme quoi rien n'est jamais sur à 0% ou 100% et qu'un "vrai bayésien" n’atteindra jamais ces certitudes.
(Autre exemple plus parleur pour les gens qui diraient qu'on n'est jamais sur de rien, que peut etre l'histoire se trompe.... tjr en QCM bayésien : je lance un dé équilibré à 6 faces, classique et non truqué, quelle sont les probabilités que j'ai de faire 7. Réponses A : 1 chance sur 6 ; réponse B : epsilon % ; réponse C : aucune chance ; réponse D : 1 chance sur 2. Résultats attendus : A 0% ; B 0% ; C 100% ; D 0%)
Bonsoir Lei, merci pour ton travail que je suis régulièrement. J'ai enseigné le français langue étrangère en Chine pendant des années et cette vidéo me donne des idées, non pas pour évaluer des étudiants, mais pour produire des savoirs et mesurer les cheminements cognitifs qui conduisent / peuvent conduire à « l'erreur en langue » (au regard de la norme). En revanche, mon idée est de croiser deux différents facteurs dans le qcm pour montrer que l'un des deux (que mon hypothèse prévoit comme neutralisé automatiquement avec un % zéro) n'est pas pertinent didactiquement mais reste pris en compte trop souvent dans l'évaluation. En revanche, à quel niveau enchâsser deux facteurs dans une question peuvent modifier les probabilités ? Dans la majorité des cas, les questions des qcm ne testent qu'un savoir ou qu'une question.
Je serais très heureux d'avoir un échange avec toi sur ce sujet, il reste trop de biais dans l'enseignement des langues contre lesquels j'ai du mal à me battre et j'ai l'impression que l'approche de Bayes pourrait être une première réponse.
Cordialement
Julien
Brillant ! Félicitations à Olivier Bailleux 8-) Je donne un examen le 7 février sur un cours qui parlera notamment d'entropie croisée (ce qui est essentiellement le même principe que le QCM bayésien - avec une récompense en -log p), et qui sera donc tout indiqué pour mettre cette idée en pratique ! (sur une partie de l'examen seulement, hein : en raison des défauts intrinsèques au QCM très justement rappelés par Lê…).
P.-S. : Et sinon, j'avais voté 10 %, 25 % , 25 %, 40 % : avec une pénalisation quadratique, j'aurais donc fait pire que l'étudiant ignorant… :-S
j'en sais rien du tout mais je mettrais :
20% réponse A (parce que je connais le nom)
10% réponse B (parce que je connais pas le nom)
50% réponse C (parce qu'on est sur ta chaine ^_^)
20% réponse D (parce que je connais le nom)
Sinon c'est brillant comme idée oui :-)
edit : Bon bah du coup je me suis complètement planté, et pourtant j'ai presque fini le livre ^_^
1-0.04-0.81-0,25-0,04 = -0,14 points
Un parfait ignorants marque 0,39 points de plus que toi !
Est ce que tu ne nous referais pas le coup du scrutin de Condorcet randomisé ? un truc qui marche mais pas trop + un peu d'aléatoire => plein de propriétés géniales
edit à la fin de la vidéo : OUI et c'est juste génial ! En plus cette idée est très facilement explicable à quelqu'un qui est allergique aux maths, chose un peu plus délicate pour le scrutin de condorcet randomisé
"très facilement explicable à quelqu'un qui est allergique aux maths"
ça ne me parait pas applicable en dessous de lycée avec spécialité scientifique.
@@paulamblard3836 La vidéo de lé peut être pas, le vocabulaire est peut être un peu spécifique (et encore...). En revanche le principe du QCM est tellement bien ancré dans la tête de tout le monde que avec qques exemples concrets je pense que c'est explicable sans même parler de mathématiques. Non ?
@@matthieuproffit771 la grosse difficulté, c'est d'estimer des probabilités.
ça exige d'avoir très bien compris se qu'est une probabilité, de bien maîtrisé se concept ; et de l'exiger pour évaluer des connaissances n'ayant peut-être aucun rapport avec les probabilités.
Je pense que l'on peut l’exiger de quelqu'un qui s'est engager dans un filière scientifique ; pas de n'importe qui.
@@paulamblard3836 y a que des scientifiques universitaires qui jouent au poker ? Les bases sont les mêmes : combien tu es prêt à parier que ce que tu penses est vrai ? Jusqu'où tu es sur de ce que tu penses ? Ça peut s'expliquer très simplement me semble-t-il.
Édit : même si, je te l'accorde, quelqu'un qui maitrise ces notions maximisera son score.
ReEdit : La première fois que j'ai été voter, je n'avais aucune idée de la théorie sous-jacente au système de scrutin a 2 tours, de ses propriétés, de ses alternatives. On m'a juste dit "c'est comme ça", et ça m'a pas empêché d'exprimer ma réponse à la question.
@@paulamblard3836 Pour faire les calculs ou démontrer que un système de pondération quadratique est bien incentive-compatible, ok tu as besoin de maîtriser tes probas.
Sinon, n'importe qui comprend le principe de probabilités sans pour autant faire des calculs (tu peux parler de dés avec un collégien, il devrait te suivre) pour te persuader avec qques exemples (et à la rigueur un bon argument d'autorité des familles) que le système de Lé / Mr Bailleux marche, récompense bien les gens qui ont une idée de la bonne réponse et que tu as intérêt à indiquer ce que tu penses (là ok, la démo il faut la faire passer en disant "tkt c'est prouvé").
Ensuite, pour soi même estimer les probabilités, j'ai fait S et continué dans cette voie et je pense que je les estimerais au pifomètre quand même. Pour mettre un chiffre sur une estimation de nos connaissances il faut être Bayésien professionnel ou utiliser un pifomètre bien calibré
Cette idée n'est pas totalement nouvelle, j'avais passé des épreuves (il y a bien longtemps) qui fonctionnaient de manière similaire. On ne donnait pas une crédence à chaque réponse; cependant on cochait, pour chaque question, deux cases : une case pour la réponse qu'on considérait bonne, et une case demandant la "confiance" qu'on avait dans ladite réponse (de mémoire, il y avait genre 5 cases : 0-20% ; 20-40% etc jusqu'à 100% de certitude).
Le nb de points donnés/retirés était dépendant de la "certitude" indiquée à la bonne/mauvaise réponse.
Bonjour ! Je suis totalement emballé par cette idée. Connaissez vous des outils qui permettent d’implémenter facilement de tels QCM ? Actuellement j’utilise beaucoup AMC, mais je vois assez mal comment l’adapter, et j’ai accès à Moodle, que je ne connais pas assez bien pour savoir s’il permet ce type d’approche.
Super bien expliqué
Même si la question avait été "Préférez-vous les pizzas ou les nems ?", et les réponses "A: Pizzas ; B: Nems; C: Bayes ; D: La réponse D", j'aurais répondu "Bayes" car c'est dans une de tes vidéos... Et je me serais planté mais ça méritait plus de 4% de chances.
Une vidéos sur les QCMs la veille du concours de PACES, rien de mieux xD
Ca fait plaisir en effet
Video très intéressante effectivement ça mérite d'être expérimenté.
Néanmoins je reste perplexe sur la conclusion que tu fait
(Dans le cas de la personne qui affecte beaucoup de crédence à une mauvaise réponse mas en étant honnête)
un individu qui a un certain seuil de connaissances sur un sujet, et suffisamment confiance en cela pour conclure en prenant un risque, perd plus de point que celui qui ne connaît pas grand chose du sujet et qui va finir par donner une réponse au hasard en répartissant suffisamment ses points en fonction de ses a priori.
Ca ruine la prise de risque honnête, même si la manière de réfléchir était mauvaise il y avait une méthode et une confiance avec pour origine un certain nombre de connaissances.
Demander à l'étudiant d'expliquer son choix sur sa crédence la plus faible et la plus haute en quelques mots clés permettrait de juger du niveau de la personne sur le sujet.
Je trouvais les méthodes d'évaluation classiques assez binaires :
Résoudre un problème en rédigeant et en suivant une méthode rigoureuse ou répondre sans aucune justification sur des proposition à choix multiples.
Si ce questionnaire peut apporter qqch de nouveau il serait intéressant de laisser place à une justification de la part de l'étudiant, ça ne fait pas perdre trop de temps au correcteur et ça rajoute de la valeur à la note estimée
Je me pose deux questions sur deux règles qui ne sont pas clairs dans ta vidéo.
Est-ce que c’est applicable sur un QCM avec plus d’une réponse juste? Est-ce qu’un sujet peut indiquer un total de créance supérieur à 1?
J’ai fait plein d’essais et j’en conclut qu’il faut généraliser la formule
ah, c'est rassurant de voir que d'autres ont ce genre d'idées pour des QCM, je commençais à me sentir seul à force de faire des calculs dans mon coin :p
Personnellement j'aime beaucoup la notation logarithmique (mais il faut obliger à répondre au moins 1% pour chaque réponse pour éviter que des élèves aient un score -∞),
parce qu'elle représente réellement une probabilité: si le QCM me demande "est ce que ces dés vont faire un double six", donc un événement de probabilité connue, l'espérance de gain est 35/36*log(1-x) + 1/36*log(x) qui atteint son max pour x=1/36. Et le caractère multiplicatif des logarithmes permet aussi de pouvoir considérer plusieurs questions comme une seule avec plus d'options.
.
Un problème, mais qui a sans doute déjà été résolu: «j'ai l'impression qu'une personne évalue mal ses certitudes, et se dit sûre à 99% alors qu'une fois sur trois elle se trompe [+liste d'autres prédictions]. De quelle manière devrais-je corriger ses affirmations?» (mais formulé comme ça, tout dépends aussi des critères pour une "bonne" manière d'améliorer)
Étant un théoricien de l'information je propose le système notation suivant.
Soit q le nombre de réponses possibles à la question, soit P_i la distribution de crédence réelle de l'étudiant, et soit Q_ila distribution de crédence que l'étudiant répond à la question. Soit R_i la vraie distribution (donc que des 0 sauf pour la vraie réponse où R_{correct} = 1).
La note de la question est donnée par une fonction de la divergence de Kullback-Leibler entre R et Q : 1-D_q(R||Q) = 1+\log_q Q_{correct}.
Vérifions que cette notation est incentive-compatible :
1+\sum_i P_i \log_q P_i - (1+_sum_i P_i \log_q Q_i) =\sum_i P_i \log_q \frac{P_i}{Q_i} (cette quantité peut être vue comme la divergence de Kullback-Leibler D_q(P||Q) )Utilisant la concavité du $\log_q$ avec l'inégalité de Jensen on a
D_q(P||Q)=\sum_i P_i \log_q \frac{P_i}{Q_i} \geq 0, avec égalité ssi Q_i=P_i.
En d'autres termes, l'espérance de la note de l'étudiant est toujours plus élevée si l'étudiant est honnête.
En plus on a que si l'étudiant ne sait rien, ie il met toutes ses crédences à égalité, alors la note est 0.
Oui! C'est la notation logarithmique 😉
@@le_science4all ouais mais si on garde que le log on pert u peu de l'interprétation de l'information theory. Mais oui c'est équivalent ☺️
Excellent post sur Lesswrong, je vois que c’est ton premier!
Bonsoir , question peut-être stupide mais je ne trouve pas la définition du terme "Crédence" évoqué en début de vidéo. Qqun pourrait m'expliquer ce mot? D'ailleurs merci pour tes vidéos je suis en seconde et tes vidéos sur le bayésianisme me permettent de réfléchir autrement.
[Suggestion ]
Une question type de QCM pourrait se présenter sous cette forme :
---
Qui est l'auteur de "la doctrine des chances " ?
A : Isaac Newton OOOOO B : Abraham de Moivre OOOOO
C : Thomas Bayes OOOOO D : Pierre -Simon Laplace OOOOO
Pour répondre, remplissez les cases à côtés des réponses. Plus vous cochez une réponse, plus vous y attribuez votre confiance en celle-ci
---
Je propose ce format là car il est très facile de l'évaluer à l'aide d'une machine. Je m'appuie sur mon expérience, en prépa, mes QCMs étaient corrigés en détectant les réponses cochées au stylo noir automatiquement.
Bonne journée à tous ceux qui passent sur ce commentaire :D
Je suis enseignant. Je vais considérer ta suggestion avec intérêt. Je te ferai un retour si je la mets en pratique. Probablement vers Mars 2020.
Outil probablement à envisager sous sa forme numérique, sans quoi tu vas t'arracher les cheveux pour recopier chaque proba de chaque réponse dans un tableur !
Bonjour,
D'abord très emballé par l'idée, j'en ai parlé autour de moins, j'ai cherché à améliorer la formule pour déterminer la note, j'ai proposé l'idée à d'autres enseignants et suite à mes échanges, j'en suis arrivé à la conclusion qu'il y a un fort risque d'observer un biais de genre dans les résultats. En effet, je m'explique. Des études sur les QCM à points négatifs ont montré que parmi ceux qui ont les bonnes réponses, une femme réussira moins bien qu'un homme en moyenne car elles ont tendance à être moins sûre d'elle que les hommes. Ici, elles distribueront plus leurs crédences que les hommes et donc auront moins de points qu'un homme sûr de lui, alors qu'ils ont tout les deux la même réponse. L'inverse s'observera pour ceux qui n'ont pas la bonne réponse, les filles auront alors plus de points en moyenne que les garçons. En somme une plus grande variance pour les notes des garçons que pour les notes des filles. Toutefois, l'idée de demander les crédences que l'élève accorde à chaque théorie donne un niveau d'information plutôt élevé au professeur sur l'état des connaissances d'un élève et aussi sa progression. On pourrait envisager de lui donner avant et après un cours le même QCM bayésien (non côté) et le corriger avec eux après le deuxième test. Cela nous permettra d'observer l'évolution des connaissances des élèves ainsi que de leur confiance en leurs connaissances. Comme c'est non côté, il n'y aurait pas d'incentive à donner une réponse à 100% plus qu'une autre. Bref, je pense que demander dans un QCM la crédence de la théorie plus qu'un outil pour encourager à l'honnêteté devrait être un outil pour observer l'évolution de la confiance en la théorie des élèves, élément très important dans la construction de la confiance en soi de l'élève qui se voit progresser vers la bonne réponse. L'avantage d'un tel test est aussi que si le professeur n'a pas réussi à expliquer un point de matière précis, il peut le remarquer directement (et assez clairement, s'il réfléchit soigneusement à la formulation de la question et des réponses) via les réponses des élèves et corriger son erreur au cours suivant. En somme, je dirais que c'est une bonne chose d'utiliser la crédence pour les tests informatifs, mais pas pour les certificatifs.
Je pense que le terme "biais de genre" est impropre. Il ne s'agit pas d'un test qui défavorise directement un genre par rapport a l'autre . De plus ton commentaire suggère des résultats plutôt en défaveur des femmes mais une plus grande variance chez les hommes peut aussi être interprété comme défavorisant. Les études sur les QCM a points négatifs ne permettent pas de tirer de conclusions sur cette idée la, qui il me semble favorise largement l’honnêteté intellectuelle (même s'il faudrait le montrer) et temporisent les excès de confiance ainsi que le manque. As tu des sources pour les articles dont tu parles ?
@@totolamenace je n'ai pas de sources malheureusement, je me base sur mes discussions avec un professeur à l'université où j'étudie qui m'expliquait les raisons pour lesquelles les QCMs à points négatifs allaient être interdits dans mon université et il expliquait ça par le biais de genre, j'ai retranscrit son argument
@@totolamenace je pense avoir un peu extrapolé, le biais de genre est au niveau de la réussite de ces tests, les filles réussissent moins ces tests que les garçons et les explications avancées sont la haute variance des garçons, si vous voulez comme la courbe de répartition des points serait plus étendue chez les mecs, on observerait bien un plus haut taux de réussite si la moyenne générale est en dessous du seuil de réussite
À chaud comme ça je dirais
A: 0,25
B: 0,3
C: 0,1 (à la vue des remarques dans la vidéo et du contexte de cette série et du livre, j’ai un fort a priori en faveur d’une réponse ajoutée pour le piège...)
D: 0,35 (il a tout fait ce Laplace...)
Salut Lê! J'ai un petit soucis avec le calculs des points.
Imagineons que Jean pense que la réponse est de Moivre, mais n'a pas trop d'idée sur le reste, d'ailleurs il ne sait même pas si Laplace est Mathématicien, alors qu'au moins il a entendu parler de Bayes et Newton il répond alors:
A: 15%; B: 60%, C: 15%; D: 10% --> il aura alors 0.785 points, ok.
Paul pense aussi que c'est de Moivre, par contre il se doute que ce n'est ni Newton (pas un probabiliste), ni Bayes (qui a peu écrit), Laplace reste un candidat bien plus probable! Il donnera alors plutôt comme réponse:
A: 5%; B: 60%; C: 5%; D: 30% --> il aura seulement 0.745 points, ce qui est moins que Jean.
Jean a eu la chance de n'avoir aucun avis sur les 3 autres réponses, et Paul a eu le maleur de trop réfléchir... On pourrait défendre que mieux réfléchir aidera tout de même Paul dans les cas où il se trompe (si la réponse avait été Laplace, Jean aurait perdu beaucoup plus de points que Paul) et qu'en moyenne, mieux réfléchir payera, mais ça n'explique pas, selon moi, pourquoi Paul gagne moins de points que Jean sur cette question en particulier.
Es-tu certain qu'il n'existe pas une meilleure méthode de notation?
Existe t-il un widget pour qcm bahesien?
Par exemple un curseur que l'on déplacerai entre une réponse A et B. Ou trois curseurs, reglés au départ à 33%, lorsque l'on en déplacerait 1 cela influencerait les autres...
Il manque une étape qui explique comment obtenir la note finale de l'étudiant à partir du score obtenu via la notation quadratique. Dans le cas d'un QCM de 10 questions à 4 réponses possibles pour chacune, on peut théoriquement obtenir un score allant de -10 à +10. Sachant qu'on peut faire un score de 2,5 en mettant 25% à toutes les réponses et qu'une absence totale de connaissance sur un test devrait logiquement valoir un 0/20, il faudrait mettre 0 à tous les scores entre -10 et 2,5 ? Et pour les scores supérieurs, faut-il appliquer une échelle linéaire, ou y aurait-il une autre échelle qui représenterait mieux le degré de connaissance de l'étudiant ?
Ce serait extrêmement intéressant à mettre en oeuvre! Je doute que cela marche du premier cou... je risque de placer un certain nombre d’étudiants sur orbite avant que cela devienne automatique...
Si tu te dis : Pourquoi il n' y'a que des réponses de personnes connues sauf un qui semble plus obscure ? tu te dis qu'il y'a pas mal de chance que ce soit celui que tu ne connais pas. Il aurait fallu mettre au moins 2 personnes moins connue. Après, peut etre que Abraham de Moivre est connue mais je n'en avais jamais entendu parler.
Pourquoi ne pas essayer alors des questions où la réponse elle-même n'est pas unique mais également une distribution de probabilité entre les propositions ? Soit qu'il y a 2 bonnes et deux mauvaises réponses, soit que le résultat soit vraiment une distribution (la chèvre est derrière la porte A, la porte B, la porte C, il n'y a pas de chèvre).
Bonsoir!
Je tenais a vous/tu vous dire que je trouvais le système employer pour calculer imparfait car injuste, en effet il ne prend pas en compte le facteur chance et le relègue a une valeur d' "ignorance".
J'aurais plutôt calculer comme ça (exemples selon mes réponses) A: 10% B: 0% C: 30% D:60%, si l'ont envisage le calcule du point de vue de décimal l'ont peut calculer avec cette formule r = réponse n = nombre de réponses r*n / n (0.25) } facteur chance = fc x = la crédence en la bonne réponse
x-fc = la somme de point dans mon exemples je dois recevoir un malus (de 0.25 p) pour avoir répondue a coter.
Mais si l'on ne réponds qu'avec des réponse de r'n/n l'on ôter pas de point au élève se qui est bénéfice car avec cela l'ont peux endiguer les cas ou des élève répondes juste au doigts mouiller (comme moi dans mon exemple) .
Comment tu fais pour être aussi heureux
Bonjour,
j'ai une question, plutôt relative à une de vos vidéos plus anciennes, mais je ne sais pas si les commentaires sur vos anciens posts vous parviennent...
Question donc : si je suis un parfait Hooligan intellectuel, et que j'attribue une confiance à priori totale à une théorie quelconque, j'aurais ainsi, dans mon équation de Bayes, le terme P[T]=1.
L'équation de Bayes admettrait-elle pour autant un résultat ? Puis-je néanmoins avoir un résultat final P[T/D] inférieur à 1 ? Une manière de démontrer en quelque sorte que la certitude totale est impossible. Ou inversement, l'équation doit-elle admettre à priori une possibilité d'erreur de ma part ?
Encore merci pour votre chaine.
Amitiés probables :-)
Sacrément qualitatif tout ça.
Va falloir que je me tape tes vidéos maintenant :D
Mais du coup comment tu calibres ce système pour que ça donne la réussite à 50%et que ça gradue une réussite jusqu'à 100% ? Tu démarres avec un capital donné genre 20% 30 % ou 50% plus toutes les notes obtenue à chaque question ? Tu pars ee 0%qui a possiblement avoir une note négative ?
Quand on divise une probabilité par une probabilité, obtient-on :
A - une erreur
B - un rapport
C - une probabilité
D - un biais :-)
10
88
0
2
Mise en pratique du caractère pro-honnêteté:
Question 1: Je vais lancer en l'air une piece de 1 euro demain, sur quel cote tombera-t-elle?
A) Pile B) Face
Je vous laisse conclure en quoi l'exemple illustre qu'on DOIT correctement son vrai degré de credence.
Je serais pas contre faire passer ça à mes élèves. Du coup comment on gère quand il y a plusieurs bonnes réponses à cocher ? Par exemple si la question est "A implique B et B implique C donc :" et qu'il y a 4 propositions "1) A implique C 2) non C implique non A 3) non A implique non C 4) non A implique non B" Je veux qu'ils cochent 1) et 2). Du coup je considère que les bonnes crédences sont 50 50 0 0 ? Et je mesure les écarts de cette manière ?
Génial ;).
Pour la Burgundy University, c'est une photo de la mairie qui est présentée...
A: 0,001
B: 66,664
C: 0,001
D: 0,001
E (le monde physique n'existe pas) : 33,333%
Est-ce qu’on peut faire ça avec une réponse par intervalle de confiance? Je m’explique.
On nous demande d’estimer une quantité (sans choix de réponses). On répond avec un intervalle de confiance. Le correcteur doit donner une note qui favorise l’honnêteté et la précision. Comment le correcteur doit-il s’y prendre? Btw je ne sais pas si la question est bien formulée.
Génial !! C'est complètement vrai : on peut effectivement appliquer le concept même dans le cadre d'un devoir "classique".
@@Meric_N Je ne vois pas comment le correcteur doit attribuer les points. S'il donne 1 - 2 a^2 où a est le seuil de signification alors l'étudiant a avantage à prendre des intervalles très grands avec a très petit. La note attribuée doit aussi tenir compte de la longueur de l'intervalle mais je ne sais pas comment.
@@danodet une imprécision, ou une dispersion, c'est comme un bruit. Pour moi ça se mesure avec un écart type. Il doit être possible d'intégrer cette valeur dans la formule de notation.
Voyons dans l'ordre ce qui est attendu :
- la réponse est la bonne, et le sigma est faible
- la réponse est la bonne, mais le sigma est grand
- la réponse est fausse, le sigma est faible, et il contient la bonne réponse
- la réponse est fausse, le sigma est grand, et il contient la bonne réponse
- la réponse est fausse, le sigma est faible mais il ne contient pas la bonne réponse
- la réponse est fausse, le sigma est grand mais il ne contient pas la bonne réponse.
.... Mouais, pas si simple à intégrer. Faut que j'y réfléchisse.
Ok, tu as besoin d'une chose en entrée, c'est l'intervalle de tolérance de la réponse juste. Dès que tu as ça, il suffit de mesurer le rapport de la surface commune des 2 gaussiennes (réponse donnée D et réponse juste J) : si elles se superposent au moins un peu, on est au dessus de zéro points, si D est très éloigné de J on en n'a pas beaucoup, idem si J est petit devant D (intervalle trop grand), et si D fit avec J, on maximise les points. Et si D est faible devant J, on est même meilleur que l'attendu.
Je viens de finir de corriger mes 230 copies. Je tenterai le QCM bayésien l'an prochain.
J’ai pas compris l’intérêt du calcul quadratique. Pourquoi se compliqué la vie alors que les résultats sont les probabilités déjà attribuées aux reponses.
Il y a quelques chose que je ne comprends
J'ai l'impression que le calcul quadratique permet de pénaliser les grosses erreur : si 100% sur une réponse fausse ça donne -1
Je ne vois pas pourquoi il faudrait forcement que ça fasse 100%. Intuitivement on peut étudier chaque réponse individuellement non?
A: 1%
B:40%
C:10%
D:80%
Sur ton exemple ca revient à tout regarder sur 131% et on peut le remettre à 100%. Vu que ce genre de test se corrigerait surtout sur les ordis, ça ne poserait pas de problème.
@@Phantoharibo Pas forcement, parce que en toute rigueur, il faut prendre en compte la probabilité que ce ne soit aucun des réponse ou plusieurs. Outre les pièges il y a aussi parfois des erreurs, donc les probabilités associées aux 4 réponses ne recouvrent pas l'ensemble des possibilités que je peut envisager. Ce qui fausse les probabilités.
Pour que ça marche il faudrait être sûr d'avoir pris en compte toutes les possibilités. Mais surtout, ça dépend si on prends chaque réponse comme un événement indépendant ou comme des événements corrélés (comme par exemple un jet de dés, il y a un nombre de face déterminé, et on ne peut tomber sur deux faces à la fois, et encore le jet de dés peut être cassé).
10:35 tellement vrai. Honnêteté intellectuelle.
Original cette façon de noter. L'inconvénient est qu'il faut que l'élève comprenne la notation et soit capable de raisonner de manière probabiliste donc ça ne serait pas applicable avant un certain niveau.
Je pense que ca serait une pilule un peu dur a faire avaler parce que la méthode de notation est un peu difficile à comprendre. Par contre une solution simple serait de simplement systématiquement rajouter une option "je ne sais pas" qui rajoute 0,25 pt à l'étudiant qui la coche là ou une mauvais réponse en rapportera 0.
C'est génial. As tu un logiciel pour créer ce genre de QCM? On peut le faire sur Excel je pense
A : 10% (on entend beaucoup parler de Newton mais j'ai pas l'impression que ça ait rapport avec les probabilités généralement)
B : 10% (jamais entendu ce nom alors que j'ai déjà entendu parler de la "doctrine des chances")
C : 40%
D : 40%
Résultat : -0.14 pt. Effectivement, j'aurais mieux fait de m'avouer totalement ignorant ! ^^
A: 5% B: 0% C: 15% D: 80% Raisonnement, je sais que tu es fan de Laplace, le trouve que le titre du livre sonne très bien en français pas tant en anglais, je ne connais pas Abraham de Moivre donc il n'a pas du produire beaucoup d'oeuvres connus,Laplace a travaillé sur les probabilité contrairement à ce que je sais des autres, Thomas Bayes aussi donc il a quand même 15% dans le doute.
Ah je suis totalement à côté de la plaque ...
@Science4All un moyen rapide et efficace de remplir de tels questionnaires me paraît important. En as tu déjà vu? Je serais prêt à développer une appli web type kahoot avec un tel système. Intéressé par une collaboration ?
Bonjour. Futur prof ici.
Alors votre vidéo est très intéressante, mais léger problème pratique : vous parlez ici de QCU (Question à choix unique) et non de QCM (Question à choix multiple). Ma question du coup : quelle mise en pratique concernant les QCM ?
Ici les élèves pourraient être amenés à répondre
A 45%
B 90%
C 20%
D 100%
En y pensant les qcm ont deux questions : quel sont le(s) bonne(s) réponses et combien elles sont.
A moins que ce soit préciser va falloir y répondre avec des probabilités aussi.
En d'autres termes, le doute devient l'entropie de notre examen ?
Je vais tester le modèle