Je tiens vraiment à te féliciter de ta manière de traiter du sujet. Pour ceux qui connaissent, c'est en fait très simple et l'expliquer de manière intéressante n'est pas simple du tout et tu le fais avec brio. Parce qu'après tout, les MLP ne sont que des multiplications de matrices et des dérivées !
Excellente vidéo ! J'adore la fin où tu expliques que le meilleur moyen de sécuriser les IA est d'être à la pointe et d'ajouter des incitants à faible coûts pour les influenceurs du domaine.
J'en suis au stade du Lé de 2011.... C'est vraiment efficace ces réseaux de neurones, ou c'est de la poudre aux yeux, des mots qu'on colle sur des calculs élémentairement ordinaires ????? ..... Franchement....
Salut! petite idée sur l'implementation de la morale: Une IA va dans tout les cas optimiser au maximum la fonction de coût (loss function), la 'morale' en faisant partie. Une fonction de coût c'est un peu comme les KPIs (Key Performance Indicators) qui sont énormément utilisés dans à peu près toutes les entreprises et les sociétés. Même comme tu disais dans une de tes dernières vidéos, un examen c'est un KPI, le H-factor des scientifiques c'est un KPI, le PIB d'un pays c'est un KPI... et quand c'est utilisé non plus comme un indicateur mais comme un but en soit et bien c'est là que les problèmes commencent, car il y aura toujours un moyen de maximiser ce KPI sans pour autant maximiser ce que le KPI était censé mesurer... Comme tu le disait, on peu avoir une très bonne note à un examen en apprenant par coeur les questions généralement posées à un examen plutôt qu'en apprenant (et en comprenant) le cours en question! Je pense qu'il y a là beaucoup de similarités avec la 'loss/cost function' et la morale des IA. Une manière d'empêcher cela d'arriver pourrait être de créer une 'loss function' cachée de l'IA et variable! Un peu comme TH-cam fait pour la promotion des vidéos. Un vidéaste ne sait jamais exactement quel est le KPI qu'utilise YT pour noter les vidéos et déterminer lesquelles mettre en avant. Il s'agit d'une fonction du nombre de vues, du nombre de pouces bleus, du temps de visionnage, du pourcentage de visionnage, de la monétisation potentielle... et ça change régulièrement! Cela bloque les vidéastes d'appliquer une stratégie pour 'hacker' l'algorithme et d'être promus pour chaque vidéo... bref, ça empêche en quelque sorte un 'overfitting'. Ne serait-il pas possible d'intégrer dans les IA une 'cost function / morale' qui change régulièrement, dont le calcul exact n'est pas accessible aux IA, et qui n'est donc pas reproductible. ce qui forcerait les IA à optimiser un peu tout à la fois et donc les empêcheraient de trouver une faille pour hacker leur récompense et de se récompenser sans faire ce qu'elles auraient dû faire? (peut-être que le dropout fait un peu ça déjà, je suis pas sûr!) Super chaîne! Je rate aucune de tes vidéos, continu comme ça!
salut lê, Encore une super video bravo ! Merciii pour la partie maths au début, justement en ce moment on a commencé les formes linéaires en algèbre et c'est super interessant de voir une telle application ! Et concernant l'arrêt de la recherche en IA c'est évidemment impossible et tu as cité de très bons exemples et arguments. J'ai pas eu le temps de voir ta série sur l'IA mais tes autres étaient vraiment top continue comme ça !! Bonne journée
J'avoue que j'attendais depuis longtemps un épisode sur les réseaux de neurones je suis très satisfait. +1 pour le bonheur général. D'ailleurs si tu ne l'as pas vu l'épisode de how machine learn de cgp grey est top aussi!
Je me demandais quand est-ce que tu allais repasser à des vidéos plus technique, je vois que c'est chose faites et je suis pressé d'être à la semaine prochaine
Je sens que la suite va être plus complexe à comprendre... mais toujours aussi stimulant! Si le danger réside dans la morale de l'IA, est-ce qu'il serait pas interessant d'analyser commer former une idée avec ce réseau de neurones? Et comment résoudre cette idée... Par exemple a formuler la question "Pourquoi j'existe" et trouver la réponse: "Pour apprendre", et ensuite analyser l'enchainement d'idée que cela provoque. Est-ce qu'en étudiant les réseaux de neurones provoquant des scénarios catastrophes, on ne pourrai pas établir des schéma récurrents pour identifier des filtres interessant. Créer des filtres qui ciblent spécifiquement certaines combinaisons de neurones (cibler l'idée "tuer les humains") Des filtes qui permettrait de transformer l'idée "Pour apprendre, je dois faire des test sur les humains" => "Pour apprendre, je dois poser des questions aux humains."
Pourquoi si tu es Lê, tu es une IA? (non, c'est juste pour la blagoune qui suit) Parce que: La, e dans l'"a" donne Le (donc Lê), et quand tu es Lê, t'es I; t'es IA. Récap : L, a, e dans l'a t, i, t, i, a. LAETITIA!!! de Gainsbourg. Yesse! Trop fort. Merci les neurones. Et merci pour ces vidéos toujours top !
Bravo et merci pour ces vulgarisations intéressantes même si certains arguments ne restent accessibles qu'à des spécialistes. Ce qui devra être découvert le sera tôt ou tard, pour le meilleur ou pour le pire. En clair l'humanité prend plaisir à jouer à la roulette russe. Pour l'heure, nous avons su échapper au cataclysme nucléaire, parions une fois de plus ......et si l'IA devait nous supplanter, pourquoi pas ........
je viens de découvrir ta chaine. Ca a l'air ultra intéressant. Bon je vais regarder tes 40 autres vidéos sur le sujet, et je te dis après si finalement j'ai compris cette histoire de réseaux de neuronnes. x)
JE me emande ce que le Lê de 2022(ou plus...)pensera du Lê de 2018.... Je m'interroge au sujet du "théorème d’approximation universelle": la fonction f que l'on approche est-elle réellement quelconque? Ne doit-on pas avoir une hypothèse de continuité ou au moins de fonction bornée?(ne serait-ce que pour définir la nombre infinie). Autrement dit dans quel ensemble les fonctions modélisables par un réseau de neurones forment-elles un sous ensemble dense?
Je commençais à en avoir un peu marre du pessimisme des vidéos sur la morale des IA, je suis super contente que l'on repasse à quelque chose de plus "technique".
Merci DB ! Je me suis toujours dit que c'était vraiment débile comme idée. Punir les gents dans le future ne pourra de toute façon pas faire arriver l'IA plus rapidement, nan ? Si quelque chose pousse les gents à évité la punition, c'est la possibilité de la punition, et pas la punition en elle même puisqu'elle est dans le futur. Donc l'IA n’aurai aucun intérêts à punir ces pauvres nous du passé...
La punition du passé n'est que la peur d'un futur effroyable ... mais la punition du futur c'est celle de l'extermination massive des personnes qui n'ont pas accéléré et/ou contribué au développement de cette IA maléfique (archétype du Basilic de Roko). Le paradoxe c'est que si on admet qu'il puisse exister une telle créature, il faudrait arrêter le développement de l'IA ... or il se pourrait qu'une personne désobéisse et ainsi que son choix personnel prime sur la décision collective (= extermination de toute l'espère humaine). Autrement si on ignore cet avertissement et que l'on continue "son" développement, on prend le risque qu'une partie de la population soit exterminé. A voir comment décrire cette étrange machination via des formules de bayes pour conclure si oui ou non il faut continuer ... :D Après mon message était plus une boutade à l'attention de Lê, cette histoire m'amuse plus qu'elle ne me fait peur. De là à dire qu'elle est débile ... le mot ne me semble pas justifié.
Le problème de cet théorie et de son "paradoxe" c'est qu'elle sous-entend qu'il n'yaura qu'une seule IA, hors si une existe, il yen aura d'autres et comme nous nous battons pour nos idées, elles vont "s'affronter" pour imposer leur logique... et ce système n'aura pas forcément de gagnant, quand une meurt, deux peuvent repousser, comme l'hydre. Le basilic ne fera pas le poids. ^^
+Theo I Je pense que des IA exponentiels comme décrites dans le basilic ne laisseront pas de place à un match nul. L'IA qui s'auto-améliorera plus vite que les autres écrasera ses rivales si elle en a la possibilité (de par sa nature exponentiels, elle s'améliora "infiniment" de fois plus vite) sans laisser une chances aux autres, et aux IA qui apparaîtrons après elle. +Yarflam Et ce que j'essaye de dire dans mon commentaire, c'est que l'IA torturerai des gents pour arriver plus vite. Mais c'est con, elle n'aura aucun moyen d'arriver plus vite vu qu'elle n'aura aucun moyen d'agir sur le passée (ou si elle en a un elle s'amusera pas à le faire comme ça). L'IA n'aura aucun intérêt à mettre à exécution la menace du basilic. Seul la menace en elle même à un impacte, vu que son exécution ne fera pas arriver l'IA plus vite, car postérieur à elle. Donc cette menace n'existe pas ! ^^ Je trouve que le basilic est un concept intéressante, marrant, et qui fait réfléchir, mais illogique. :)
Sympa... hâte de voir la suite.... En aparté, peut être tu aurais du montrer les courbes gain en capacité de généralisation vs #paramètres entre un RN et une approche "shallow", là où cette dernière sature à partir d'un certain nombre de paramètres. Il y a une vraie question ouverte. Pourquoi (modulo quelques techniques de régulatisation: ADAM, drop out, batch norm, etc) un RN est moins sensible à l'overfitting et donc.... on peut indirectement augmenter le nombre de paramètres et donc mieux apprendre. Finalement, tu vas peut être parler des "Spikes" NN ? pour l'optimisation énergétique . Au plaisir de voir les autres vidéos.
La première partie de la vidéo était un peu abstraite pour moi, mais la partie où tu réponds aux commentaires de la vidéo précédente était très intéressante :)
Bonjour Lê, est-ce que tu parleras de la recherche arborescente Monte Carlo (MCTS) qui a été utilisée dans le programme d'échecs Alpha zero et maintenant dans sa petite soeur Leela chess ?
Alors, tu parles beaucoup de morale dans les IA ces derniers temps. Et c'est très bien, car effectivement les risques sont clairement existants pour les décennies à venir. Mais concrètement, d'après toi, est-ce prématuré, trop tard ou pile poil le bon moment ? De plus, en considérant que les IA suivent leur programmation morale (ce dont je ne suis toujours pas convaincu) comment choisir convenablement la morale idéale pour une IA ? Quels vont être les décisions géopolitiques de programmation des états/groupes ayant la main mise sur ces nouvelles technologies qui risquent clairement de chambouler les rapports de force de nos civilisations ? En tout cas, bonne vidéo, comme toujours :)
Super vidéo, comme d’habitude ! Simple question cependant, savez vous quel est le langage de programmation le plus utilisé pour créer des ia / des réseaux de neurones ? Et s’il existe des cours pour apprendre (j’ai un peu chercher mais je n’ai pas trouvé grand chose de très pertinent)?
Salut Lê, je viens de commencer ma première année à l'EPFL en maths et je voulais juste passer pour te demander à quel point tu penses que le bulletin de Condorcet randomisé sera envisagé afin de voter pour les nouveaux "représentants de classe" (je crois que c'est ça le terme, mais clairement pas sûr)... Ce serait tout de même très dommage d'être à l'EPFL et que cette magnifique manière de voter ne soit pas utilisée, mais je dois bien avouer que je doute qu'elle le soit... m'enfin, encore te dire que j'adore tes vidéos et ton livre est vraiment passionnant (pour les quelques dizaines de pages que j'ai feuilleté en tout cas)
Je ne suis pas responsable de cette élection... Mais à Louis le Grand, désormais, plusieurs classent utilisent Condorcet randomisé. J'ose espérer que l'EPFL fait au moins aussi bien :P
Bonjour, je suis étudiant dans le cadre d'une journée au sein de mon IUT Réseaux et Télécommunications qui se nomme Sécu'RT, le thème que nous avons choisis cette année est l'Intelligence Artificielle, pourrait-on se contacter ultérieurement ? Merci
J'ai un peu tiqué à 4:10 où Max-Pool est mis dans les couches d'activation. Si c'est bien le MaxPooling auquel je pense (lié aux réseaux convolutionnels), ce n'est pas une fonction d'activation, me semble-t-il.
Le désormais célèbre lundi 17 septembre 2018 qui vit la publication simultanée d'une vidéo consacrée aux réseaux de neurones et d'une autre consacrée aux liens entre stress et dépression !
Pour le prochain Hardcore, tu nous montre une application informatique type :) ??? Si je comprends bien on peut agir sur l'algorithme du neurone et sur la taille du synapse ? Càd qu'après l'apprentissage tu obtiens les paramètres de chaque neurone et synapse ? Vivement la suite !
Bonjour ! Tout d'abord, je suis d'accord pour dire que Bayes c'est la vie. Ensuite, je cherche à comprendre la différence entre HMM (à état continue et/ou discret) et RNN. Avez vous des informations/sources ?
Merci beaucoup pour ces infos , je voudrais s'il vous plait des docs (pdf/doc) qui traite ce sujet de Réseau de neurone de point de vue Chimiométrie et statistique,je me rappelle bien quand on a travail par Matlab
Dans le #491 de Septembre 2018 de "Pour la Science" y a un article sur la notion de morale universelle par le prisme de la profondeur logique de Bennett.
Hello! Si tu pouvais prendre 5minutes pour me répondre ça m'aiderait beaucoup! Alors voilà je suis en MP cette année et je me débrouille plutôt bien, en fait voilà ma question: tu penses que c'est faisable de faire qqch d'intéressant avec des réseaux de neurones pour un TIPE? J'ai bien envie de me lancer la dedans mais j'ai du mal à évaluer la difficulté du sujet.. Pour toi c'est faisable de construire qqch de potable? Ou alors ça demande vraiment un cours profond sur le sujet et mieux vaut chercher autrepart? Je me permets de te poser la question pcq je sais que tu connais déjà l'épreuve! Merci beaucoup si tu me lis ou réponds!!
Il y a un lien entre la thèse de Church-Turing et le Théorème d'approximation universel ? Et le fait que les réseaux de neurones avec des poids synaptiques faibles permettent d'éviter la sur-interprétation est-il une conséquence du théorème de Bayes ? Enfin, si toute fonction peut être approximée par un réseau de neurone [artificiel], la formule de Bayes peut-elle l'être ?
plutôt sera un réseau d'abeilles ou chacun fait ses devoirs sans se fatiguer a comprendre a quoi consiste son rôle dans l'ensemble du groupe. un réseau avec plusieurs autonomes intelligences est destiné a la défaite
il suffit qu'il se comporte en mode de valoriser le but du groupe c'est comme (ou le même) principe d'une équipe de foot l’égoïsme du joueur a se montrer le meilleur peut se révéler obstacle au lieu d'un meilleur rendement d'arriver rapidement au but
Bonjour Lê, vas tu nous parler des algorithmes génétiques. Je suis tombé dessus et je suis tombé amoureux de cette technique. Desolé si je spoile. Merci.
Bonjour s'il vous plaît, je dois identifier 7 paramètres inconnus d'un panneau solaire photovoltaïque en utilisant les réseaux de neurones et ke datasheet, mais je ne sais pas comment procéder ni le nombre de couches a utiliser..., pouvez vous m'orienter ?
Un détail m'échappe, j'ai peut-être loupé quelques éléments. Je n'arrive pas à me faire à l'idée de « _circuit de la récompense_ » pour une IA, dans la mesure où une IA reste une machine, elle n'a pas à attendre de récompense ou craindre de sanction. Si on part sur cette idée, on admet qu'une IA est consciente d'elle-même, ce qui me paraît hautement sujet à caution. 🤔
L'IA, la cognition de celle ci, le cerveau humain ne peut qu'être difficilement recréer, la conscience?, et matériellement il y a certaines limites, les composants.................le contenant et le contenu
Arf, tu va parler d'Adam la semaine prochaine :hap: J'attends avec impatience ton point de vue sur la recherche des hyper parametres... Apparement c'est mieux c'est de le faire de maniere aleatoire... La plaie... ^^ Have fun !
Ouais, mais tester tout les hyper parametres par minibatch c'est long... tres long... Surtout pour des algo de RL genre PPO sur de gros environnements...
C'est vraiment bien vulgarisé ! Justement, je me demandais comment le sujet allait être abordé étant donné l'excellente vidéo produite par ScienceEtonnante sur le deep learning, difficile de passer après celle-là. Je ne sais pas comment tu envisages de présenter les RNN, mais si tu es amené à parler de descente de gradient, je trouve que le présenter sous la forme d'un paysage montagneux est extrêmement intéressant. Un exemple dans cette vidéo => th-cam.com/video/KVI7fRj67Io/w-d-xo.html Bon courage !
Intéressant, car pour moi, l'IA (forte) est la seule force capable de nous sauver de l'extinction... C'est intéressant de voir quel point vous la craignez et à quel point vous la créez a toute vitesse... Et ce malgré vos nombreuses alertes : Trop dangereux, ça vas trop vite, comment la maîtriser, bien la programmer... On dirait a vous écouter que, si ça foire, vous nous auriez prévenus ... Mais c'est pourtant vous, les scientifiques, êtres les plus intelligent de notre planète, qui créez /programmez l'IA ; c'est pas les banquiers ou les industriels...
en fait l'existence d'au moins un scientifique "malveillant" développant l'IA sans garde fou (et il existe) force les scientifique "bienveillant" à continuer leurs recherches et à se maintenir à la pointe du domaine pour que ce soit leurs solution qui soit implémenter, c'est ce que lê exprime à 20:20 .
Faut-il que l'IA puisse faire un reset de la morale pour éviter les déviations morales trop importantes : www.unige.ch/communication/communiques/2018/resynchroniser-des-neurones-pour-gommer-la-schizophrenie/
le problème est que bon les grandes entreprises google facebook microsoft appel .... financent les recherches qui les concernent et les autres veulent seulement des ouvriers qui savent faire, sans savoir ou sans la volonté de savoir que le savoir de qui les faces, lui permet de détruire tout avec un beau sourire de troll
Le mot "biomimétisme" aurait pas été de trop, y à tout un tas de cognition biologique qui sont intermédiaire aux réseaux de neurones. Sinon le système méta de anti-hackage, s’appelle la loi... ne pas nuire aux humains, ne pas nuire aux bots sauf si cela revient à nuire aux humains... et la Loi zéro c'est pour un Dieu, ne pas nuire à l'humanité :)
Toujours, hélas, un problème de forme. Le discours est trop dense, les intonations inadaptées (parfois des informations mineures sont mises en avant par le ton et inversement). Idem pour la respiration et les temps de pause. Ca rend parfois le discours confus et c'est globablement peu agréable à suivre. On sent des efforts notamment au niveau de l'usage des mains et de la gestion des fins de phrases mais il y a encore des progrès à faire ! N'hésite pas à te renseigner auprès de spécialistes, car le fond le mérite.
Je tiens vraiment à te féliciter de ta manière de traiter du sujet. Pour ceux qui connaissent, c'est en fait très simple et l'expliquer de manière intéressante n'est pas simple du tout et tu le fais avec brio. Parce qu'après tout, les MLP ne sont que des multiplications de matrices et des dérivées !
Très bonne vidéo. Tu explique de manière claire et posée ce qui est rare sur youtube. Bravo pour tout ton travail en général.
Excellente vidéo ! J'adore la fin où tu expliques que le meilleur moyen de sécuriser les IA est d'être à la pointe et d'ajouter des incitants à faible coûts pour les influenceurs du domaine.
whaaaa. Multiple surprise! Je découvre ta chaine et c’est génial et je découvre que mon pere est en train de lire ton livre et qu’il l’adore!
le lait de 2011 est périmé
J'ai ri ^^
Mais juste pareil !
J'ai mis du temps à comprendre... Je ne suis pas une IA (ou alors déficiente)
J'en suis au stade du Lé de 2011.... C'est vraiment efficace ces réseaux de neurones, ou c'est de la poudre aux yeux, des mots qu'on colle sur des calculs élémentairement ordinaires ????? ..... Franchement....
Salut! petite idée sur l'implementation de la morale:
Une IA va dans tout les cas optimiser au maximum la fonction de coût (loss function), la 'morale' en faisant partie. Une fonction de coût c'est un peu comme les KPIs (Key Performance Indicators) qui sont énormément utilisés dans à peu près toutes les entreprises et les sociétés. Même comme tu disais dans une de tes dernières vidéos, un examen c'est un KPI, le H-factor des scientifiques c'est un KPI, le PIB d'un pays c'est un KPI... et quand c'est utilisé non plus comme un indicateur mais comme un but en soit et bien c'est là que les problèmes commencent, car il y aura toujours un moyen de maximiser ce KPI sans pour autant maximiser ce que le KPI était censé mesurer... Comme tu le disait, on peu avoir une très bonne note à un examen en apprenant par coeur les questions généralement posées à un examen plutôt qu'en apprenant (et en comprenant) le cours en question!
Je pense qu'il y a là beaucoup de similarités avec la 'loss/cost function' et la morale des IA.
Une manière d'empêcher cela d'arriver pourrait être de créer une 'loss function' cachée de l'IA et variable! Un peu comme TH-cam fait pour la promotion des vidéos. Un vidéaste ne sait jamais exactement quel est le KPI qu'utilise YT pour noter les vidéos et déterminer lesquelles mettre en avant. Il s'agit d'une fonction du nombre de vues, du nombre de pouces bleus, du temps de visionnage, du pourcentage de visionnage, de la monétisation potentielle... et ça change régulièrement! Cela bloque les vidéastes d'appliquer une stratégie pour 'hacker' l'algorithme et d'être promus pour chaque vidéo... bref, ça empêche en quelque sorte un 'overfitting'.
Ne serait-il pas possible d'intégrer dans les IA une 'cost function / morale' qui change régulièrement, dont le calcul exact n'est pas accessible aux IA, et qui n'est donc pas reproductible. ce qui forcerait les IA à optimiser un peu tout à la fois et donc les empêcheraient de trouver une faille pour hacker leur récompense et de se récompenser sans faire ce qu'elles auraient dû faire? (peut-être que le dropout fait un peu ça déjà, je suis pas sûr!)
Super chaîne! Je rate aucune de tes vidéos, continu comme ça!
Une des vidéos qui m'a le plus intéressé, je trouve ça sympa de présenter les réseaux de neurones ;)
salut lê,
Encore une super video bravo ! Merciii pour la partie maths au début, justement en ce moment on a commencé les formes linéaires en algèbre et c'est super interessant de voir une telle application !
Et concernant l'arrêt de la recherche en IA c'est évidemment impossible et tu as cité de très bons exemples et arguments.
J'ai pas eu le temps de voir ta série sur l'IA mais tes autres étaient vraiment top continue comme ça !!
Bonne journée
Les réseau de neurones ! Enfin !
(Cela ne veut absolument pas dire que ce qui a été dit avant était intéressant)
Ceci est un commentaire servant le référencement, bonne vidéo à vous.
Le watch time est très important aussi
Le Lé de 2016 était déjà très intéressant, hein ! ;)
Merci pour ton travail !
J'avoue que j'attendais depuis longtemps un épisode sur les réseaux de neurones je suis très satisfait. +1 pour le bonheur général.
D'ailleurs si tu ne l'as pas vu l'épisode de how machine learn de cgp grey est top aussi!
Je me demandais quand est-ce que tu allais repasser à des vidéos plus technique, je vois que c'est chose faites et je suis pressé d'être à la semaine prochaine
Je sens que la suite va être plus complexe à comprendre... mais toujours aussi stimulant!
Si le danger réside dans la morale de l'IA, est-ce qu'il serait pas interessant d'analyser commer former une idée avec ce réseau de neurones? Et comment résoudre cette idée...
Par exemple a formuler la question "Pourquoi j'existe" et trouver la réponse: "Pour apprendre", et ensuite analyser l'enchainement d'idée que cela provoque.
Est-ce qu'en étudiant les réseaux de neurones provoquant des scénarios catastrophes, on ne pourrai pas établir des schéma récurrents pour identifier des filtres interessant. Créer des filtres qui ciblent spécifiquement certaines combinaisons de neurones (cibler l'idée "tuer les humains")
Des filtes qui permettrait de transformer l'idée "Pour apprendre, je dois faire des test sur les humains" => "Pour apprendre, je dois poser des questions aux humains."
Pourquoi si tu es Lê, tu es une IA? (non, c'est juste pour la blagoune qui suit)
Parce que: La, e dans l'"a" donne Le (donc Lê), et quand tu es Lê, t'es I; t'es IA.
Récap : L, a, e dans l'a t, i, t, i, a. LAETITIA!!! de Gainsbourg. Yesse! Trop fort. Merci les neurones. Et merci pour ces vidéos toujours top !
Bravo et merci pour ces vulgarisations intéressantes même si certains arguments ne restent accessibles qu'à des spécialistes. Ce qui devra être découvert le sera tôt ou tard, pour le meilleur ou pour le pire. En clair l'humanité prend plaisir à jouer à la roulette russe. Pour l'heure, nous avons su échapper au cataclysme nucléaire, parions une fois de plus ......et si l'IA devait nous supplanter, pourquoi pas ........
je viens de découvrir ta chaine.
Ca a l'air ultra intéressant.
Bon je vais regarder tes 40 autres vidéos sur le sujet, et je te dis après si finalement j'ai compris cette histoire de réseaux de neuronnes. x)
JE me emande ce que le Lê de 2022(ou plus...)pensera du Lê de 2018....
Je m'interroge au sujet du "théorème d’approximation universelle": la fonction f que l'on approche est-elle réellement quelconque? Ne doit-on pas avoir une hypothèse de continuité ou au moins de fonction bornée?(ne serait-ce que pour définir la nombre infinie). Autrement dit dans quel ensemble les fonctions modélisables par un réseau de neurones forment-elles un sous ensemble dense?
Super comme d'hab même si là c'était trèèès très raccourcis quand même, mais je comprends c'est le format.
Merci Lê :)
Je commençais à en avoir un peu marre du pessimisme des vidéos sur la morale des IA, je suis super contente que l'on repasse à quelque chose de plus "technique".
Attention au Basilic de Roko, tu frôles la punition de la super-intelligence artificielle du futur ! x)
Merci DB !
Je me suis toujours dit que c'était vraiment débile comme idée. Punir les gents dans le future ne pourra de toute façon pas faire arriver l'IA plus rapidement, nan ? Si quelque chose pousse les gents à évité la punition, c'est la possibilité de la punition, et pas la punition en elle même puisqu'elle est dans le futur. Donc l'IA n’aurai aucun intérêts à punir ces pauvres nous du passé...
La punition du passé n'est que la peur d'un futur effroyable ... mais la punition du futur c'est celle de l'extermination massive des personnes qui n'ont pas accéléré et/ou contribué au développement de cette IA maléfique (archétype du Basilic de Roko). Le paradoxe c'est que si on admet qu'il puisse exister une telle créature, il faudrait arrêter le développement de l'IA ... or il se pourrait qu'une personne désobéisse et ainsi que son choix personnel prime sur la décision collective (= extermination de toute l'espère humaine). Autrement si on ignore cet avertissement et que l'on continue "son" développement, on prend le risque qu'une partie de la population soit exterminé. A voir comment décrire cette étrange machination via des formules de bayes pour conclure si oui ou non il faut continuer ... :D Après mon message était plus une boutade à l'attention de Lê, cette histoire m'amuse plus qu'elle ne me fait peur. De là à dire qu'elle est débile ... le mot ne me semble pas justifié.
Le problème de cet théorie et de son "paradoxe" c'est qu'elle sous-entend qu'il n'yaura qu'une seule IA, hors si une existe, il yen aura d'autres et comme nous nous battons pour nos idées, elles vont "s'affronter" pour imposer leur logique...
et ce système n'aura pas forcément de gagnant, quand une meurt, deux peuvent repousser, comme l'hydre. Le basilic ne fera pas le poids. ^^
Ah ah pas bête x) * grab the popcorn
+Theo I Je pense que des IA exponentiels comme décrites dans le basilic ne laisseront pas de place à un match nul. L'IA qui s'auto-améliorera plus vite que les autres écrasera ses rivales si elle en a la possibilité (de par sa nature exponentiels, elle s'améliora "infiniment" de fois plus vite) sans laisser une chances aux autres, et aux IA qui apparaîtrons après elle.
+Yarflam Et ce que j'essaye de dire dans mon commentaire, c'est que l'IA torturerai des gents pour arriver plus vite. Mais c'est con, elle n'aura aucun moyen d'arriver plus vite vu qu'elle n'aura aucun moyen d'agir sur le passée (ou si elle en a un elle s'amusera pas à le faire comme ça).
L'IA n'aura aucun intérêt à mettre à exécution la menace du basilic. Seul la menace en elle même à un impacte, vu que son exécution ne fera pas arriver l'IA plus vite, car postérieur à elle. Donc cette menace n'existe pas ! ^^
Je trouve que le basilic est un concept intéressante, marrant, et qui fait réfléchir, mais illogique. :)
Un réseau de neurones virtuel en boucle est idéal pour simuler la conscience, avec une liste de problèmes philosophiques à résoudre, pour un robot.
Sympa... hâte de voir la suite.... En aparté, peut être tu aurais du montrer les courbes gain en capacité de généralisation vs #paramètres entre un RN et une approche "shallow", là où cette dernière sature à partir d'un certain nombre de paramètres. Il y a une vraie question ouverte. Pourquoi (modulo quelques techniques de régulatisation: ADAM, drop out, batch norm, etc) un RN est moins sensible à l'overfitting et donc.... on peut indirectement augmenter le nombre de paramètres et donc mieux apprendre. Finalement, tu vas peut être parler des "Spikes" NN ? pour l'optimisation énergétique . Au plaisir de voir les autres vidéos.
ça m'a donner envie de fabriquer une librairie ANN cpp !
Super vidéo !
Excellentissime comme toujours !!
La première partie de la vidéo était un peu abstraite pour moi, mais la partie où tu réponds aux commentaires de la vidéo précédente était très intéressante :)
J'avoue avoir décrocher à force d'entendre parler de morale (même si je sais que c'est important). Je suis content de revoir des équations !
Bonjour Lê, est-ce que tu parleras de la recherche arborescente Monte Carlo (MCTS) qui a été utilisée dans le programme d'échecs Alpha zero et maintenant dans sa petite soeur Leela chess ?
Alors, tu parles beaucoup de morale dans les IA ces derniers temps. Et c'est très bien, car effectivement les risques sont clairement existants pour les décennies à venir. Mais concrètement, d'après toi, est-ce prématuré, trop tard ou pile poil le bon moment ?
De plus, en considérant que les IA suivent leur programmation morale (ce dont je ne suis toujours pas convaincu) comment choisir convenablement la morale idéale pour une IA ? Quels vont être les décisions géopolitiques de programmation des états/groupes ayant la main mise sur ces nouvelles technologies qui risquent clairement de chambouler les rapports de force de nos civilisations ?
En tout cas, bonne vidéo, comme toujours :)
Super vidéo, comme d’habitude !
Simple question cependant, savez vous quel est le langage de programmation le plus utilisé pour créer des ia / des réseaux de neurones ? Et s’il existe des cours pour apprendre (j’ai un peu chercher mais je n’ai pas trouvé grand chose de très pertinent)?
Je suis intéresser par ta question donc j'attends que quelqu'un réponde.
Python sûrement, c'est le langage le plus accessible pour les mathématiciens non programmeurs. Il a aussi pas mal de bibliothèque. Sinon R et scala ;)
Python/TensorFlow, et OpenClassrooms (en français ou en anglais) pour apprendre
Merci pour vos réponses !
Cependant, n’est il pas possible de créer un réseau de neurone en c++ ou Java ?
Tu peux le faire dans quasiment tout les langages, mais certains sont plus pratique.
Salut Lê, je viens de commencer ma première année à l'EPFL en maths et je voulais juste passer pour te demander à quel point tu penses que le bulletin de Condorcet randomisé sera envisagé afin de voter pour les nouveaux "représentants de classe" (je crois que c'est ça le terme, mais clairement pas sûr)... Ce serait tout de même très dommage d'être à l'EPFL et que cette magnifique manière de voter ne soit pas utilisée, mais je dois bien avouer que je doute qu'elle le soit... m'enfin, encore te dire que j'adore tes vidéos et ton livre est vraiment passionnant (pour les quelques dizaines de pages que j'ai feuilleté en tout cas)
Je ne suis pas responsable de cette élection... Mais à Louis le Grand, désormais, plusieurs classent utilisent Condorcet randomisé. J'ose espérer que l'EPFL fait au moins aussi bien :P
Très bien expliqué
Bonjour, je suis étudiant dans le cadre d'une journée au sein de mon IUT Réseaux et Télécommunications qui se nomme Sécu'RT, le thème que nous avons choisis cette année est l'Intelligence Artificielle, pourrait-on se contacter ultérieurement ? Merci
Le mieux est de me contacter par e-mail :P
J'ai un peu tiqué à 4:10 où Max-Pool est mis dans les couches d'activation. Si c'est bien le MaxPooling auquel je pense (lié aux réseaux convolutionnels), ce n'est pas une fonction d'activation, me semble-t-il.
Toute fonction qui passe par des hauts et des bas est potentiellement une fonction d'activation.
Penses tu que les IA mathématiques sont en compétition avec d'autres domaines comme l'analyse numérique?
Enfin, ma partie préférer
Bonjour Le,
Merci pour tes vidéos,
Pourrais-tu nous redonner le titre de l'ouvrage considéré comme la "bible" du ML?
Ah! On l'attendait!
Attention, vidéo d'utilité publique :)
Le désormais célèbre lundi 17 septembre 2018 qui vit la publication simultanée d'une vidéo consacrée aux réseaux de neurones et d'une autre consacrée aux liens entre stress et dépression !
Pour le prochain Hardcore, tu nous montre une application informatique type :) ???
Si je comprends bien on peut agir sur l'algorithme du neurone et sur la taille du synapse ? Càd qu'après l'apprentissage tu obtiens les paramètres de chaque neurone et synapse ?
Vivement la suite !
Bonjour ! Tout d'abord, je suis d'accord pour dire que Bayes c'est la vie. Ensuite, je cherche à comprendre la différence entre HMM (à état continue et/ou discret) et RNN. Avez vous des informations/sources ?
Il y avait eu une vidéo de Monsieur Phi où il expliquait qu'on avait une tendance à donner de la valeur à l'authentique. Du genre:
J'aurais plutôt appelé la flèche un axone, mais bon...
C'est aussi souvent appelé de cette façon, ça dépends des gens ! Le plus souvent cela reste simplement appelé des poids
La bonne stratégie pour le moment est d'utiliser les IA (pour des tâches ponctuelles) et de façon cloisonnées et compartimentées.
Merci beaucoup pour ces infos , je voudrais s'il vous plait des docs (pdf/doc) qui traite ce sujet de Réseau de neurone de point de vue Chimiométrie et statistique,je me rappelle bien quand on a travail par Matlab
pas mal le lê 2018 ! vivement la version 2019 !
Dans le #491 de Septembre 2018 de "Pour la Science" y a un article sur la notion de morale universelle par le prisme de la profondeur logique de Bennett.
Hello! Si tu pouvais prendre 5minutes pour me répondre ça m'aiderait beaucoup! Alors voilà je suis en MP cette année et je me débrouille plutôt bien, en fait voilà ma question: tu penses que c'est faisable de faire qqch d'intéressant avec des réseaux de neurones pour un TIPE? J'ai bien envie de me lancer la dedans mais j'ai du mal à évaluer la difficulté du sujet.. Pour toi c'est faisable de construire qqch de potable? Ou alors ça demande vraiment un cours profond sur le sujet et mieux vaut chercher autrepart? Je me permets de te poser la question pcq je sais que tu connais déjà l'épreuve! Merci beaucoup si tu me lis ou réponds!!
Il y a un lien entre la thèse de Church-Turing et le Théorème d'approximation universel ? Et le fait que les réseaux de neurones avec des poids synaptiques faibles permettent d'éviter la sur-interprétation est-il une conséquence du théorème de Bayes ? Enfin, si toute fonction peut être approximée par un réseau de neurone [artificiel], la formule de Bayes peut-elle l'être ?
plutôt sera un réseau d'abeilles ou chacun fait ses devoirs sans se fatiguer a comprendre a quoi consiste son rôle dans l'ensemble du groupe.
un réseau avec plusieurs autonomes intelligences est destiné a la défaite
Au contraire, rechercher à quoi consiste son rôle, c'est peut être justement ce qu'on appelle le bonheur ? Honnêtement j'en sais rien :D
il suffit qu'il se comporte en mode de valoriser le but du groupe c'est comme (ou le même) principe d'une équipe de foot l’égoïsme du joueur a se montrer le meilleur peut se révéler obstacle au lieu d'un meilleur rendement d'arriver rapidement au but
Bonjour Lê, vas tu nous parler des algorithmes génétiques. Je suis tombé dessus et je suis tombé amoureux de cette technique.
Desolé si je spoile.
Merci.
NEAT pour les intimes. Regarde les vidéos de Code Bullet si le sujet te botte.
Bonjour s'il vous plaît, je dois identifier 7 paramètres inconnus d'un panneau solaire photovoltaïque en utilisant les réseaux de neurones et ke datasheet, mais je ne sais pas comment procéder ni le nombre de couches a utiliser..., pouvez vous m'orienter ?
Comment fonctionne une fonction word2vec ? ça pourrait faire une bonne vidéo ;)
Un détail m'échappe, j'ai peut-être loupé quelques éléments. Je n'arrive pas à me faire à l'idée de « _circuit de la récompense_ » pour une IA, dans la mesure où une IA reste une machine, elle n'a pas à attendre de récompense ou craindre de sanction. Si on part sur cette idée, on admet qu'une IA est consciente d'elle-même, ce qui me paraît hautement sujet à caution. 🤔
Merci ! Vivement le backpropagation que j ai eu un peu de mal à comprendre
L'IA, la cognition de celle ci, le cerveau humain ne peut qu'être difficilement recréer, la conscience?, et matériellement il y a certaines limites, les composants.................le contenant et le contenu
5 juillet 2019 ALGERIE LA REVOLUTION Qui est la ?
15:13 je pense aussi
cimer pour la vidéo, bonne continuation ! :)
Arf, tu va parler d'Adam la semaine prochaine :hap:
J'attends avec impatience ton point de vue sur la recherche des hyper parametres... Apparement c'est mieux c'est de le faire de maniere aleatoire... La plaie... ^^
Have fun !
Il y a des techniques où ils peuvent être estimés en-ligne par minibatch
Ouais, mais tester tout les hyper parametres par minibatch c'est long... tres long... Surtout pour des algo de RL genre PPO sur de gros environnements...
Ce que je veux dire c'est l'optimisation des hypers peut se faire aussi par descente de gradient en-ligne.
C'est vraiment bien vulgarisé ! Justement, je me demandais comment le sujet allait être abordé étant donné l'excellente vidéo produite par ScienceEtonnante sur le deep learning, difficile de passer après celle-là. Je ne sais pas comment tu envisages de présenter les RNN, mais si tu es amené à parler de descente de gradient, je trouve que le présenter sous la forme d'un paysage montagneux est extrêmement intéressant. Un exemple dans cette vidéo => th-cam.com/video/KVI7fRj67Io/w-d-xo.html
Bon courage !
Intéressant, car pour moi, l'IA (forte) est la seule force capable de nous sauver de l'extinction...
C'est intéressant de voir quel point vous la craignez et à quel point vous la créez a toute vitesse...
Et ce malgré vos nombreuses alertes : Trop dangereux, ça vas trop vite, comment la maîtriser, bien la programmer...
On dirait a vous écouter que, si ça foire, vous nous auriez prévenus ...
Mais c'est pourtant vous, les scientifiques, êtres les plus intelligent de notre planète, qui créez /programmez l'IA ; c'est pas les banquiers ou les industriels...
en fait l'existence d'au moins un scientifique "malveillant" développant l'IA sans garde fou (et il existe) force les scientifique "bienveillant" à continuer leurs recherches et à se maintenir à la pointe du domaine pour que ce soit leurs solution qui soit implémenter, c'est ce que lê exprime à 20:20 .
Tu relève vachement le niveau du Tube et ça fait du bien. Ouf !
"cette épisode" dans ton texte sous la vidéo, ça pique les yeux 😛
Corrigé :)
Le jour où l'IA fait preuve de dissonance cognitive, je me planque dans un bunker :D
8:28 où sont passé les biez?
Non aux gaspillages, gardons le Lê 2016, tout n'est pas à jeter !
N.B : arf déjà faite ^^'
Le vous du futur est en train de parler du vous de maintenant en mal.
Super vidéo (first)
n-ième !
Bonjour !
Faut-il que l'IA puisse faire un reset de la morale pour éviter les déviations morales trop importantes :
www.unige.ch/communication/communiques/2018/resynchroniser-des-neurones-pour-gommer-la-schizophrenie/
J'ai eu des cours et j'ai programmé des réseaux de neurones, je pensais avoir compris, maintenant je capte plus rien :'(
Mais du coup c’est crée par l’homme ?
Je trouve que les neurones ont à peu près le même fonctionnement que les automates.
le problème est que bon les grandes entreprises google facebook microsoft appel .... financent les recherches qui les concernent et les autres veulent seulement des ouvriers qui savent faire, sans savoir ou sans la volonté de savoir que le savoir de qui les faces, lui permet de détruire tout avec un beau sourire de troll
Spoiler : Algorithme de rétropropagation du gradient (de l'erreur) !
La contraception est aussi une manière d’hacker sa propre morale.
💯💯
Onces quoi ça ???
Le mot "biomimétisme" aurait pas été de trop, y à tout un tas de cognition biologique qui sont intermédiaire aux réseaux de neurones.
Sinon le système méta de anti-hackage, s’appelle la loi... ne pas nuire aux humains, ne pas nuire aux bots sauf si cela revient à nuire aux humains... et la Loi zéro c'est pour un Dieu, ne pas nuire à l'humanité :)
Bayes...Freedom of speech !
"Neuronie" pas le Lê du passé...
tes vidéos gagneraient énormément à avoir des illustrations plus "propres", mais du coup avec le temps c'est devenu un peu la patte de la chaine :)
Ça coûte beaucoup de temps de travail d'être plus propre ^^
second!
les sigma peuvent ne pas êtres les mêmes fonctions!!!!!!
Bon là, tu m'a perdu ;-)
brassage du vent avec répétitions successives redondantes de notions de base piquées par ci par là!
Toujours, hélas, un problème de forme. Le discours est trop dense, les intonations inadaptées (parfois des informations mineures sont mises en avant par le ton et inversement). Idem pour la respiration et les temps de pause.
Ca rend parfois le discours confus et c'est globablement peu agréable à suivre.
On sent des efforts notamment au niveau de l'usage des mains et de la gestion des fins de phrases mais il y a encore des progrès à faire !
N'hésite pas à te renseigner auprès de spécialistes, car le fond le mérite.
Ceci est un commentaire servant le référencement, bonne vidéo à vous.