C'est trop ambitieux comme vidéo! Je suis persuadé qu'en 24 minutes la vidéos est très bien mais j'ai l'impression que ça mériterait bien 2h de vod avec des schémas et des exemples en cascades
Je ne comprends absolument pas les critiques qui disent que c'est compliqué, mal expliqué, que les "effets de montage sont inutiles" et que les "blagues" sont nulles/inutiles. Le sujet est, certes un peu velu, mais pas particulièrement compliqué. Il y a surtout beaucoup d'informations à retenir. Lê explique bien mieux que la plupart des profs, c'est clair, limpide, explicite et facilement imaginable. Les effets de montages sont... Parfaits ? Les "blagues" (je ne penses pas que "blague" soit le terme adapté, mais c'est celui utilisé par les critiques) sont... Typiques de Lê. Si vous n'y adhérez pas, c'est votre problème. (Et elles ne sont absolument pas trop nombreuses). Seules critique que je peux coter sont : pourquoi donner les nombres réels ? Pourquoi ne pas expliquer avec des modèles "imaginaires" bien plus petits ? (Lê parle de "détails" pour des points qui me semblent assez importants et donne la valeur exacte de la taille gargantuesque des matrices...) Il n'y a pas/peu d'exemple, et c'est justement en lien avec le point précédent : faire un exemple d'une matrice 16384*128000 c'est... Compliqué. En bref, cette vidéo est géniale (mais effectivement pas parfaite), comme d'habitude en fait... Donc, merci Lê.
Je ne pense pas que ce soit mal expliqué mais en tout cas ce n'est pas "vulgarisé", c'est juste une lecture d'une description du modèle mais sans y apporter des analogies ou une grille de lecture pour que des néophytes puissent comprendre pourquoi on à ça ou ça et pourquoi ça s'enchaine avec ça dans tel ordre.
@@lelouch1722 Je ne crois pas que ça s'adresse à des néophytes justement. Je pense que ça s'adresse à à-peu-près n'importe qui ayant quelques connaissances, quelques affinités avec le sujet. J'avoue, j'ai trouvé la vidéo simple probablement parce que je suis étudiant en informatique. Mais je j'étudie pas du tout l'IA (je suis en théorie des langages), mais je pense que n'importe qui ayant déjà fait sérieusement du code, ayant déjà compris un algorithme ou ayant déjà pensé à comment fait l'ordinateur peut comprendre la vidéo.
@@manolosardo3661 je ne suis pas dans le monde du code, mais idem j'ai des affinités avec l'informatique (et sur l'IA) qui font que j'ai l'impression d'avoir plutôt bien compris la vidéo. Cependant je crois qu'il y a un message important, qui lui pour le coup est explicite dans la vidéo : ces algorithmes sont complexes et il y a un réel effet de boîte noire qui font qu'il est dangereux de trop vulgariser car on pourrait croire que c'est maîtrisable. En gros : il est important de comprendre qu'on ne comprend pas, car l'illusion de compréhension pourrait laisser entendre qu'on contrôle ces algorithmes et qu'ils sont donc inoffensifs (pas dans le sens "attention Skynet va nous attaquer", mais en sécurité des données qui sont introduites dans le modèle et ce qu'on peut en récupérer notamment par des tiers malveillants, ou que cette technologie serait "neutre").
@@lelouch1722 Il est inutile d'essayer de vulgariser le fonctionnement de ChatGTP sans que le lecteur "mette les mains dans le cambouis" au préalable. Le néophyte peut se tourner vers des bouquins et vidéos qui expliquent pas à pas le fonctionnement d'un réseau de neurones, ce qu'il faut maîtriser avant de saisir ce contenu. Cordialement
je suis d'accord avec les critiques. Je ne suis pas néophyte et je connais bien la self ou cross attention. La plupart des vidéos en anglais qui explique le papier "attention is all you need" sont nettement plus claires. Sa justification de ne pas utiliser la formulation avec les QKV est douteuse. Et il me semble qu'il a n'a pas expliqué non plus le positional encoding
Merci beaucoup pour cette vidéo. Ça fait un bail que je suis tes productions, et c'est toujours appréciable de voir de la vulgarisation qui ne vulgarise pas trop, justement. Oui, c'est complexe, c'est sûr. Mais si on veut vraiment s'intéresser au sujet, autant il est très facile de trouver des vidéos niveau collège avec des analogies bancales, autant c'est beaucoup plus complexe d'avoir accès à du contenu bien documenté, sourcé, qui va traiter le sujet de manière claire mais en gardant un vrai niveau technique. Donc merci. Et je lis les commentaires de gens qui critiquent l'utilisation de mêmes et extraits vidéos, et je les trouve au contraire plutôt agréable pour ponctuer le propos (et même si j'adore les vidéos de Valentine de ScienceDeComptoir, j'avoue j'ai toujours un moment où je finis par lâcher parce que j'étais trop concentré sur les vannes 😅 mais là c'est très bien 👍)
Salut Lë, Je suis toutes tes vidéos depuis ta série sur la démocratie. Ta chaîne demeure aujourd'hui l'une de mes préférées : tu as su bouleverser maintes fois mon modèle du monde, par de petits et de grands pas de danse. Aujourd'hui, et je pense en partie grâce à toi, je m’oriente vers des études et un travail en sécurité et éthique de l'IA. Je te remercie donc pour tout ton travail jusqu'ici. Dans ton introduction, tu dis que tu vas insister sur "les limites béantes de la théorie mathématique des transformers, notamment en termes de sécurité." Cependant, je n'ai pas l'impression que tu aies abordé ces dites limitations de manière très claire. Est-ce parce que tu comptes en parler davantage dans une future vidéo ? Aussi, vers la fin de la vidéo, tu affirmes que l'on "semble extrêmement loin d'une solution économiquement révolutionnaire." Tu sembles assez certain de cette affirmation. J'aimerais vraiment savoir ce qui t'amène à faire de telles prédictions. Je suis d'accord qu'il y a énormément de hype et de personnes qui disent n'importe quoi. Je pense également bien comprendre les limitations fondamentales des modèles de type ChatGPT. Mais en même temps, il me semble qu'un petit nombre d'innovations algorithmiques pourrait aboutir à des systèmes bien plus robustes et utiles économiquement. En admettant une probabilité de 10 % que de telles innovations surviennent dans les années à venir, il me semble alors qu'il serait extrêmement important de prendre cette hypothèse au sérieux, même si elle ne se réalise pas. Avec les investissements astronomiques actuellement alloués à la recherche et au développement de l'IA, il me semble d'autant plus probable que des avancées algorithmiques majeures se produisent. De façon plus générale et pour en venir au fond de ma pensée, depuis un certain temps, tu sembles très préoccupé par les dangers actuels des technologies de l'information, mais relativement peu inquiet de ce qu'elles pourraient bientôt devenir. Peut-être s'agit-il d'une fausse impression, mais dans tous les cas, j'aimerais vraiment comprendre la nature de ton raisonnement sur ce sujet. (Et pour être clair, je suis tout à fait d'accord pour dire que les IA d'aujourd'hui représentent déjà d'énormes problèmes, et que ce ne sont pas forcément ceux dont on parle.)
Les limites sont très bien expliquées : au final on fait " que " manipuler des matrices, on ne maîtrise pas vraiment ce qui est généré et encore moins ce qui est retenu. Il n'y a pas de filtre possible dans ces architectures. Il explique bien que les éditeurs de Chat ne font que rafistoler les " mauvaises réponses " des modèles parce qu'ils sont incapables de comprendre pourquoi ils fonctionnent intrinsèquement.
@@steveblack2420 Ces limites sont les mêmes que pour les algorithmes de Deep Learning précédents, en somme. Reconnaissance de chiffres manuscrits, de chien/chat, prédiction de cours de bourse par du ML ou génération de poèmes par LLM, même combat. Je m'attendais aussi des failles en plus, mais visiblement non.
@@steveblack2420 Oui après avoir écrit mon commentaire j'ai réalisé que j'avais dû mal interpréter ce qu'il voulait dire. Je m'attendais à apprendre ce que les transformers ou chatgpt ne peuvent pas faire ou ne peuvent pas garantir, basé sur la théorie mathématique, mais c'est plutôt l'inverse. C'est surtout la limite de notre compréhension, pas la compréhension des limites. Par contre, je reste confus qu'il affirme que d'une part on ne comprend pas vraiment, mais que de l'autre il semble assez confiant que c'est juste, ou du moins surtout de la hype, et que le gen AI c'est pas génial. Je comprends l'argument comme quoi puisqu'on ne comprend pas bien, qu'il y a beaucoup de failles de sécurité, etc... ça pause effectivement certaines limites pour plusieurs secteurs, mais je ne pense pas que ça en soi empêche d'avoir tout de même un impact énorme.
@@miniboulanger0079 Je ne suis pas chercheur en machine learning mais je suppose qu'il a des raisons trop complexes pour être exposées en vidéo, ce qui expliquerait l'aspect catégorique de ses propos. Ainsi, je suppose que l'impact resterait limité pour des applications stratégiques, telles que des questions de défense ou que sais-je, car certains secteurs recquièrent une fiabilité et robustesse absolues pour prendre des décisions. Et il semble que ces architectures ne les garantissent toujours pas.
@@dreamstorm194 Concernant les failles, ces modèles en possèdent (comme tous les autres). On peut par exemple réussir à faire ressortir les données d'entraînement avec des prompts spécifiques (par exemple en demandant de répéter en boucle un terme). Cela a causé du tort récemment à OpenAI car on a pu retrouver des données confidentielles de certaines entreprises et qu'ils ont utilisées.
C'est cool, tu donnes une description presque "chirurgicale" du fonctionnement des transformers mais pour certains qui ont du mal, comme moi, ça n'aide pas à *comprendre* comment fonctionne un transformer pour autant. Le truc qui a fait 'clic' en ce qui me concerne, c'était la vidéo de 3Blue1Brown sur le même sujet. À un moment il explique que chaque couche de transformer, et chaque tête d'attention aura été modelée (pendant l'apprentissage) pour répondre à une question particulière, ou pour détecter une structure particulière. Par exemple, pour les couches de "bas niveau grammatical" ça sera de reconnaître les tournures de phrases, les adjectifs, le temps des verbes, etc. , ou bien la reconnaissance du sujet/verbe/complément pour la partie supérieure (organisationnelle), et probablement pour la représentation sémantique dans le niveau suivant, ensuite on peut imaginer que la couche suivante va traiter le "raisonnement" (et on sait qu'ils sont pas très doués sur ce point) et finalement les derniers niveaux vont devoir s'occuper de la partie génération sémantique => grammaticale => syntaxique (un peu l'inverse des niveaux d'entrée). Ce que j'en ai retenu c'est qu'au final, chaque couche de transformer va traiter des détails/tâches particuliers à des niveaux de plus en plus gros, un peu sur le même modèle que les CNN de traitement d'image vont traiter les détails (edges, curves, contrastes de couleur/fréquence) dans les premiers layers pour arriver à des neurones qui vont traiter des objets / de la sémantique dans les derniers niveaux...
Belle vidéo. Sinon au début je ne comprenais rien quand tu parlais de « huitante » 😂 malgré que nous-mêmes ici en RDC parlons le français belge en utilisant « septante » ou soit « nonante ». C’est ma première fois d’entendre ce mot 😅
J'apprécie les vidéos de S4All depuis des années. Je suis infographiste, menuisier, manutentionnaire... et donc pas du secteur "ia" et je n'aurais très probablement pas besoin de cet informations mais RESTONS CURIEUX... Me concernant : revisionnage en 0.75 obligé, mise en pause, prise de note, manque de lexique, vague compréhension, niveau d'abstraction en cascade ... - x : sais tu comment fonctionne chatGPT ? - moi : (ce que je crois avoir vaguement compris) + (Mon argument d'autorité sur le sujet) "je t'invite à suivre Science4All" voilà 🤣🤣🤘🤘
Quid de l'encodage positionnel ? Puisque le mécanisme d'attention n'est pas sensible à la position des tokens cela aurait été bien de le mentionner je pense...
Bravo! Expliquer une architecture mathématique complexe en 20 minutes c’est pas simple. Je travaille dans le secteur médical et a Génération de texte est en plein Buzz, j’ai eu du mal à leur expliquer pourquoi ce n’est pas fiable et que c’est pas une bonne idée…
Côté grand public on est en plein dans le haut de la hype (courbe de Gartner), donc comme d'autres grosses innovations dans le passé, on va passer par une désillusion avant de stabiliser les cas d'usages pertinents ensuite. Donc en l'état, dire que rien ne va tenir ou que tout est incroyable est tout aussi erroné
Heuu peut être qu'à la fin ça sera plus claire mais il y a un intérêt quelconque à préciser la taille des matrices et des vecteurs de façon si systématique??
@@adamamrouchi8225 il aurait du en faire abstraction en expliquant directement les équations et les objets et faire des schémas. Il explique le mécanisme d'attention juste en montrant des vecteurs et matrices, et ajoutant à l'orale les opérations. C'est pas du tout pédagogique. Il complique inutilement les choses et en fait des caisses. En plus, il manque deux points importants je trouve: il ne parle ni du positional encoding, ni des propriétés des masques d'attentions (la sortie de la softmax). Désolé, mais il explique rien, il se contente de suivre, comme un algorithme, les opérations du mécanisme d'attention et de façon pédante en plus.
@@Arkonis1 Exactement ma pensé, après tout on peut bien faire confiance sur le fait que les multiplications matricielles sont à minima compatible avec leur dimensions 😅 Donné une idée de la taille des données de temps en temps pourquoi pas mais là c'est un peu tout much à mon avis.
Excellente video, quelqu'un aurait-il les sources pour aller plus loin ? elles ne sont pas sur le github et je n'ai pas trouvé d'explications sur l'architechture dans l'article qui lance llama 3. Merci beaucoup
Je ne comprend pas à 16:00 tu dis qu'il suffit d'utiliser un encodeur "vocal" pour la voix et après tu dis pour l'image c'est particulier ? - Pourquoi ? - J'ai vu des encodeur de sortie niveau son ??? C'est vraiment pas expliqué et j'aimerai comprendre - Question subsidiaire: pourquoi on pas des models llama 3.x voix et multilingue ?
A des gens qui ont déjà un solide bagage sur le sujet. Oui parfois les vidéos qu'il fait sont un peu velues pour le spectateur moyen, même celui qui est amateur de vulgarisation scientifique. Là on met carrément les mains dans le cambouis. Il en faut pour tout le monde.
Il faut quelques notions culturelles de mathématiques (vecteurs, norme de vecteur, matrice) et en programmation.. *Vous pouvez interroger chatGPT ou llama à ce sujet et demander de vulgariser ces concepts* ... Après j'avoue que bien qu'intéressé par le sujet et désireux d'aller plus dans le détail, je nage un peu... Sur le moment, j'ai l'impression de mieux comprendre, mais je n'arriverai pas à restituer... Donc vidéo à ré-écouter... *Courage!*
*voilà ma question à chatGPT:* les transformeurs dans le monde de l'IA, c'est ce qui sert à élaborer les modèles? Tu peux m'expliquer simplement... c'est après avoir ingurgiter une grosse source de données.. on fragmente tout en tokens... Un token, c'est par exemple le mot "pol" et après ça peut être recomplété par "ice" "itique" "aire" "ochon"?
Bon. J'utilise maintenant chat gpt pour me souvenir de truc que j'ai oublié et ça marche. Je lui ai demandé de retrouver une bd française dont le style était entre celui de Warhammer et Philippe druillet et du coup il m'a proposé trois auteur, j'ai pas trouvé mais j'ai affiné en décrivant la couverture de la bd puis en précisant la date de parution. Alors il m'a proposé "les chroniques de la lune noir". Je lui ai dit merci. Je n'aurais jamais pu trouver sur Google. Je trouve ça fantastique. Ça marche pour des gens qui ont des mémoires variables.
Seize mille trois cent *huiptante* quatre ? J'avais jamais entendu les nombres suisses/belges "conjugués" dans des plus grands nombres, hébin c'est pas facile à suivre ! :D
Je n'avais pas compris le smiley 🌶️, je préfère quand c'est écrit [#hardcore], mais c'est peut-être moi qui ait vraiment du mal à les intégrer dans la lecture (les smileys). Effectivement sur cette vidéo, n'étant pas matheux, j'ai été complètement perdu ; mais je connais la pédagogie et la pertinence de Lê sur les vidéos habituelles non hardcore... Donc si vous voulez vous faire plaisir entre matheux allez-y, je continuerai de suivre le reste avec grand intérêt !
le problème des régulations c'est que les élus qui devraient voter celles-ci ne comprennent pas grand chose aux risques que vous décrivez, tout en étant fascinés par l'apparente facilité d'utilisation de ces technologies et la possibilité de faire des gains énormes en remplaçant le personnel coûteux, maladroit et limité par des machines multipliables à l'infini. Au moyen âge on appelait ça vendre son âme au diable, sauf qu'aujourd'hui ce sont les âmes des citoyen·nes qu'ils vendent...
L’introduction de mêmes permet au contraire de reconcentrer les gens qui se perdent en cassant le rythme de la vidéo sinon ça fait juste comme un cours magistral où le prof débite et les élèves décrochent, Selon moi Bref et sinon les explications sont quand même suffisamment claires pour que n’importe quel humain ayant un minimum d’intérêt dans les maths et l’informatique puisse comprendre et auuuu pire parfois je regarde sur l’internet Quésaco ce mot
Qui sait vraiment comment cela fonctionne surtout dans le cas où l'ordinateur est quantique ? Les intelligences artificielles sont entraînées : cela les modifie, les rendant différentes de ce qu'avait choisi les programmateurs initialement. Elles apprennent à apprendre à apprendre. Il y a plusieurs années j'avais visionné une vidéo présentant un robot programmé avec des directives simples pour manipuler des boules de couleurs différentes. Bien que cela ne faisait pas directement partie de ses tâches le résultat de ses manipulations aboutissait à un tri des boules par couleur. Des modèles mathématiques profonds utilisant des outils complexes permettent de programmer selon des architectures pour lesquelles il est possible d'avoir une représentation. Je souligne que le cerveau aussi est étudié, de même que le psychisme humain. Des modèles existent, cognitivistes, entre autres. Qui peut pour autant affirmer comprendre le cerveau, la psychologie humaine, la vie ? J'attire l'attention sur les dangers de générer des programmes de plus en plus élaborés, de les entraîner, de permettre leur modification, d'utiliser des support de plus en plus puissants, et cætera. Il est possible de faire. Pourquoi faire, dans quels buts, pour quelles finalités, et cætera ?
J’ai regardé beaucoup de tes vidéos et beaucoup les ai beaucoup apprécié souvent Autant la c’est vraiment tout simplement indigeste.. moi qui fait des maths appliqués toute la journée j’y ai vraiment rien compris. En plus on dirait presque que tu en as conscience en nous perturbant avec des extraits pas vraiment drôle montrant l’imbitabilité de ce que tu racontes. Aussi, pourquoi couper à ce point les blancs ? Pour ne pas perdre notre attention ? On a besoin de respirer après des phrases aussi longues et complexes! Autre conseil : faire dérouler un texte long de 30 lignes en même temps que tu racontes un truc super complexe ça perd tout le monde. Ou alors on doit faire pause toutes les 10 secondes mais personne fait ça. Vulgariser c’est faire des analogies, faire le rapprochement avec des choses concrètes de la vie. Dernier point mais plus personnel : la posture constante dramatique, la fin du monde, l’horreur de ces algos .. Faudrait être positif des fois, se réjouir du génie humain qui a réussi à pondre ça je sais pas .. ! Désolé pour la froideur du commentaire mais je pense que beaucoup ressentent la même chose !
@@Eye974 je vois toujours pas le rapport avec le pb a 3 corps (ni exactement ce qui est dit par "positionne" ses neuronnes ) desole ! :-) apres, y'a peut-être un rapport un peu tiré par les cheveux, ou peut-être que je connais pas assez l'un ou les deux sujets !
@@DamienAristodemo j'ai retrouvé la vidéo c'est ce titre si ça t'interesse "Le Problème à 3 Corps : Visualisation de Données et Intelligence Artificielle" ++
et tu penses que que tu vas pouvoir houitante-quarer comme ça encore longtemps ? y'a qu'une seule solution : l'échange humain ! ... l'apéro quoi ! Santé :*
Cette vidéo est utile à qui ? Il ne s'agit en rien de vulgarisation, donc même une personne qui a fait un bac scientifique ne va pas comprendre la vidéo. Et une personne qui connait ces concepts en IA, doit déjà connaître cette suite d'étapes.
C'est effectivement loin d'être une bonne video, qui ne vulgarise rien. Une meilleure video (en 3 partie) 3Blue1Brown qui a fait un bel effort de vulgarisation.
"nonante" (2:06) est aussi utilisé en Suisse romande, je pense que c'est parce qu'il travaille là-bas qu'il a adopté ce mot. Je suis français comme Lê, mais je vote pour que toute la France utilise "nonante", c'est plus court et bien plus logique que "quatre-vingt-dix"...
ARRETE AVEC CE MONTAGE JE T'EN SUPPLIE ! Bonjour Lê, j'aime beaucoup ton travail, mais dernièrement ton montage ne met pas en valeur le contenu et détériore grandement mon visionnage. Faire irrupter d'autres créateurs de contenus de manière intempestive ne permet pas de garder mon attention sur la vidéo, au contraire j'ai envie de la quitter a chaque fois que cela arrive.
ChatGPT, c'est une grosse bouse, il n'a pas été capable de me donner les résultats de l'Euromillion selon les statistiques des tirages passés. Pas dur pourtant pour une IA, non ? En plus il s'est vexé quand je lui ai alors dit qu'il était inutile
Vu vos commentaires passés sur la chaîne, vous êtes un bien triste personnage. A quoi bon s'acharner à dénigrer toutes les vidéos? Si ça ne vous plaît pas passez votre chemin
S'il est obligé d'expliquer toutes les notions qui sont supposées acquises légitimement dans la vidéo, la vidéo dure 2h. Je pense que tu confonds pédagogie et l'explication des connaissances prérequises. Et ce n'est pas en enlevant 1 min de blagues que tu comprendras mieux la vidéo si c'est ça qui bloque.
je pense que tu n'as pas bien compris ce "je-ne-sais-quoi" qui fait la différence fondamentale entre les transformers et les decepticon. Du coup ta problematique est un peu pourtie et tu passes complètement à côté du sujet. Relis Bergson!!!
Bah si . À des matrice de dimension exagérément grande. Et à des vecteurs qui peuplent des espaces vectoriel de taille tout aussi grande. Il faut avoir fait beaucoup d'algèbre linéaire pour saisir.
C'est trop ambitieux comme vidéo!
Je suis persuadé qu'en 24 minutes la vidéos est très bien mais j'ai l'impression que ça mériterait bien 2h de vod avec des schémas et des exemples en cascades
Je ne comprends absolument pas les critiques qui disent que c'est compliqué, mal expliqué, que les "effets de montage sont inutiles" et que les "blagues" sont nulles/inutiles.
Le sujet est, certes un peu velu, mais pas particulièrement compliqué. Il y a surtout beaucoup d'informations à retenir.
Lê explique bien mieux que la plupart des profs, c'est clair, limpide, explicite et facilement imaginable.
Les effets de montages sont... Parfaits ?
Les "blagues" (je ne penses pas que "blague" soit le terme adapté, mais c'est celui utilisé par les critiques) sont... Typiques de Lê. Si vous n'y adhérez pas, c'est votre problème. (Et elles ne sont absolument pas trop nombreuses).
Seules critique que je peux coter sont : pourquoi donner les nombres réels ? Pourquoi ne pas expliquer avec des modèles "imaginaires" bien plus petits ? (Lê parle de "détails" pour des points qui me semblent assez importants et donne la valeur exacte de la taille gargantuesque des matrices...)
Il n'y a pas/peu d'exemple, et c'est justement en lien avec le point précédent : faire un exemple d'une matrice 16384*128000 c'est... Compliqué.
En bref, cette vidéo est géniale (mais effectivement pas parfaite), comme d'habitude en fait...
Donc, merci Lê.
Je ne pense pas que ce soit mal expliqué mais en tout cas ce n'est pas "vulgarisé", c'est juste une lecture d'une description du modèle mais sans y apporter des analogies ou une grille de lecture pour que des néophytes puissent comprendre pourquoi on à ça ou ça et pourquoi ça s'enchaine avec ça dans tel ordre.
@@lelouch1722 Je ne crois pas que ça s'adresse à des néophytes justement. Je pense que ça s'adresse à à-peu-près n'importe qui ayant quelques connaissances, quelques affinités avec le sujet.
J'avoue, j'ai trouvé la vidéo simple probablement parce que je suis étudiant en informatique. Mais je j'étudie pas du tout l'IA (je suis en théorie des langages), mais je pense que n'importe qui ayant déjà fait sérieusement du code, ayant déjà compris un algorithme ou ayant déjà pensé à comment fait l'ordinateur peut comprendre la vidéo.
@@manolosardo3661 je ne suis pas dans le monde du code, mais idem j'ai des affinités avec l'informatique (et sur l'IA) qui font que j'ai l'impression d'avoir plutôt bien compris la vidéo.
Cependant je crois qu'il y a un message important, qui lui pour le coup est explicite dans la vidéo : ces algorithmes sont complexes et il y a un réel effet de boîte noire qui font qu'il est dangereux de trop vulgariser car on pourrait croire que c'est maîtrisable. En gros : il est important de comprendre qu'on ne comprend pas, car l'illusion de compréhension pourrait laisser entendre qu'on contrôle ces algorithmes et qu'ils sont donc inoffensifs (pas dans le sens "attention Skynet va nous attaquer", mais en sécurité des données qui sont introduites dans le modèle et ce qu'on peut en récupérer notamment par des tiers malveillants, ou que cette technologie serait "neutre").
@@lelouch1722 Il est inutile d'essayer de vulgariser le fonctionnement de ChatGTP sans que le lecteur "mette les mains dans le cambouis" au préalable.
Le néophyte peut se tourner vers des bouquins et vidéos qui expliquent pas à pas le fonctionnement d'un réseau de neurones, ce qu'il faut maîtriser avant de saisir ce contenu.
Cordialement
je suis d'accord avec les critiques. Je ne suis pas néophyte et je connais bien la self ou cross attention. La plupart des vidéos en anglais qui explique le papier "attention is all you need" sont nettement plus claires. Sa justification de ne pas utiliser la formulation avec les QKV est douteuse. Et il me semble qu'il a n'a pas expliqué non plus le positional encoding
Merci beaucoup pour cette vidéo. Ça fait un bail que je suis tes productions, et c'est toujours appréciable de voir de la vulgarisation qui ne vulgarise pas trop, justement. Oui, c'est complexe, c'est sûr. Mais si on veut vraiment s'intéresser au sujet, autant il est très facile de trouver des vidéos niveau collège avec des analogies bancales, autant c'est beaucoup plus complexe d'avoir accès à du contenu bien documenté, sourcé, qui va traiter le sujet de manière claire mais en gardant un vrai niveau technique.
Donc merci.
Et je lis les commentaires de gens qui critiquent l'utilisation de mêmes et extraits vidéos, et je les trouve au contraire plutôt agréable pour ponctuer le propos (et même si j'adore les vidéos de Valentine de ScienceDeComptoir, j'avoue j'ai toujours un moment où je finis par lâcher parce que j'étais trop concentré sur les vannes 😅 mais là c'est très bien 👍)
sympa ! ca donne une idée de ce qui se passe sous le capot à chaque génération !
Merci pour ce travail, bravo pour le vidéo et le travail
Super comme d'hab ! Bravo pour le son qui a fait un bond en avant !!
Salut Lë,
Je suis toutes tes vidéos depuis ta série sur la démocratie. Ta chaîne demeure aujourd'hui l'une de mes préférées : tu as su bouleverser maintes fois mon modèle du monde, par de petits et de grands pas de danse. Aujourd'hui, et je pense en partie grâce à toi, je m’oriente vers des études et un travail en sécurité et éthique de l'IA. Je te remercie donc pour tout ton travail jusqu'ici.
Dans ton introduction, tu dis que tu vas insister sur "les limites béantes de la théorie mathématique des transformers, notamment en termes de sécurité." Cependant, je n'ai pas l'impression que tu aies abordé ces dites limitations de manière très claire. Est-ce parce que tu comptes en parler davantage dans une future vidéo ?
Aussi, vers la fin de la vidéo, tu affirmes que l'on "semble extrêmement loin d'une solution économiquement révolutionnaire." Tu sembles assez certain de cette affirmation. J'aimerais vraiment savoir ce qui t'amène à faire de telles prédictions. Je suis d'accord qu'il y a énormément de hype et de personnes qui disent n'importe quoi. Je pense également bien comprendre les limitations fondamentales des modèles de type ChatGPT. Mais en même temps, il me semble qu'un petit nombre d'innovations algorithmiques pourrait aboutir à des systèmes bien plus robustes et utiles économiquement.
En admettant une probabilité de 10 % que de telles innovations surviennent dans les années à venir, il me semble alors qu'il serait extrêmement important de prendre cette hypothèse au sérieux, même si elle ne se réalise pas. Avec les investissements astronomiques actuellement alloués à la recherche et au développement de l'IA, il me semble d'autant plus probable que des avancées algorithmiques majeures se produisent.
De façon plus générale et pour en venir au fond de ma pensée, depuis un certain temps, tu sembles très préoccupé par les dangers actuels des technologies de l'information, mais relativement peu inquiet de ce qu'elles pourraient bientôt devenir. Peut-être s'agit-il d'une fausse impression, mais dans tous les cas, j'aimerais vraiment comprendre la nature de ton raisonnement sur ce sujet. (Et pour être clair, je suis tout à fait d'accord pour dire que les IA d'aujourd'hui représentent déjà d'énormes problèmes, et que ce ne sont pas forcément ceux dont on parle.)
Les limites sont très bien expliquées : au final on fait " que " manipuler des matrices, on ne maîtrise pas vraiment ce qui est généré et encore moins ce qui est retenu. Il n'y a pas de filtre possible dans ces architectures. Il explique bien que les éditeurs de Chat ne font que rafistoler les " mauvaises réponses " des modèles parce qu'ils sont incapables de comprendre pourquoi ils fonctionnent intrinsèquement.
@@steveblack2420 Ces limites sont les mêmes que pour les algorithmes de Deep Learning précédents, en somme. Reconnaissance de chiffres manuscrits, de chien/chat, prédiction de cours de bourse par du ML ou génération de poèmes par LLM, même combat.
Je m'attendais aussi des failles en plus, mais visiblement non.
@@steveblack2420 Oui après avoir écrit mon commentaire j'ai réalisé que j'avais dû mal interpréter ce qu'il voulait dire. Je m'attendais à apprendre ce que les transformers ou chatgpt ne peuvent pas faire ou ne peuvent pas garantir, basé sur la théorie mathématique, mais c'est plutôt l'inverse. C'est surtout la limite de notre compréhension, pas la compréhension des limites.
Par contre, je reste confus qu'il affirme que d'une part on ne comprend pas vraiment, mais que de l'autre il semble assez confiant que c'est juste, ou du moins surtout de la hype, et que le gen AI c'est pas génial.
Je comprends l'argument comme quoi puisqu'on ne comprend pas bien, qu'il y a beaucoup de failles de sécurité, etc... ça pause effectivement certaines limites pour plusieurs secteurs, mais je ne pense pas que ça en soi empêche d'avoir tout de même un impact énorme.
@@miniboulanger0079 Je ne suis pas chercheur en machine learning mais je suppose qu'il a des raisons trop complexes pour être exposées en vidéo, ce qui expliquerait l'aspect catégorique de ses propos.
Ainsi, je suppose que l'impact resterait limité pour des applications stratégiques, telles que des questions de défense ou que sais-je, car certains secteurs recquièrent une fiabilité et robustesse absolues pour prendre des décisions. Et il semble que ces architectures ne les garantissent toujours pas.
@@dreamstorm194 Concernant les failles, ces modèles en possèdent (comme tous les autres). On peut par exemple réussir à faire ressortir les données d'entraînement avec des prompts spécifiques (par exemple en demandant de répéter en boucle un terme). Cela a causé du tort récemment à OpenAI car on a pu retrouver des données confidentielles de certaines entreprises et qu'ils ont utilisées.
C'est cool, tu donnes une description presque "chirurgicale" du fonctionnement des transformers mais pour certains qui ont du mal, comme moi, ça n'aide pas à *comprendre* comment fonctionne un transformer pour autant.
Le truc qui a fait 'clic' en ce qui me concerne, c'était la vidéo de 3Blue1Brown sur le même sujet. À un moment il explique que chaque couche de transformer, et chaque tête d'attention aura été modelée (pendant l'apprentissage) pour répondre à une question particulière, ou pour détecter une structure particulière.
Par exemple, pour les couches de "bas niveau grammatical" ça sera de reconnaître les tournures de phrases, les adjectifs, le temps des verbes, etc. , ou bien la reconnaissance du sujet/verbe/complément pour la partie supérieure (organisationnelle), et probablement pour la représentation sémantique dans le niveau suivant, ensuite on peut imaginer que la couche suivante va traiter le "raisonnement" (et on sait qu'ils sont pas très doués sur ce point) et finalement les derniers niveaux vont devoir s'occuper de la partie génération sémantique => grammaticale => syntaxique (un peu l'inverse des niveaux d'entrée).
Ce que j'en ai retenu c'est qu'au final, chaque couche de transformer va traiter des détails/tâches particuliers à des niveaux de plus en plus gros, un peu sur le même modèle que les CNN de traitement d'image vont traiter les détails (edges, curves, contrastes de couleur/fréquence) dans les premiers layers pour arriver à des neurones qui vont traiter des objets / de la sémantique dans les derniers niveaux...
Merci pour la vidéo !!
Belle vidéo. Sinon au début je ne comprenais rien quand tu parlais de « huitante » 😂 malgré que nous-mêmes ici en RDC parlons le français belge en utilisant « septante » ou soit « nonante ».
C’est ma première fois d’entendre ce mot 😅
Excellente vidéo merci ! C’était un sujet qui m’intriguait pour lequel je n’ai jamais pris le temps de comprendre
À qui s’adresse cette vidéo stp ?
Exceptionnel. J'ai retenu qu'IA n'est pas du magic mais la probabilité a une échelle énorme. Ca pose des questions philosophique .
J'apprécie les vidéos de S4All depuis des années.
Je suis infographiste, menuisier, manutentionnaire... et donc pas du secteur "ia" et je n'aurais très probablement pas besoin de cet informations mais RESTONS CURIEUX...
Me concernant : revisionnage en 0.75 obligé, mise en pause, prise de note, manque de lexique, vague compréhension, niveau d'abstraction en cascade ...
- x : sais tu comment fonctionne chatGPT ?
- moi : (ce que je crois avoir vaguement compris) + (Mon argument d'autorité sur le sujet) "je t'invite à suivre Science4All" voilà
🤣🤣🤘🤘
Quid de l'encodage positionnel ? Puisque le mécanisme d'attention n'est pas sensible à la position des tokens cela aurait été bien de le mentionner je pense...
t'es pas dans le serveur de machine learnia?
J'avais compris le contraire justement ?
Bravo! Expliquer une architecture mathématique complexe en 20 minutes c’est pas simple. Je travaille dans le secteur médical et a Génération de texte est en plein Buzz, j’ai eu du mal à leur expliquer pourquoi ce n’est pas fiable et que c’est pas une bonne idée…
Côté grand public on est en plein dans le haut de la hype (courbe de Gartner), donc comme d'autres grosses innovations dans le passé, on va passer par une désillusion avant de stabiliser les cas d'usages pertinents ensuite. Donc en l'état, dire que rien ne va tenir ou que tout est incroyable est tout aussi erroné
Heuu peut être qu'à la fin ça sera plus claire mais il y a un intérêt quelconque à préciser la taille des matrices et des vecteurs de façon si systématique??
Oui . Pour savoir quelle opération mathématiques peuvent s'appliquer . Entre quels objets et donc sur le sens de tel ou tek matrice.
@@adamamrouchi8225 il aurait du en faire abstraction en expliquant directement les équations et les objets et faire des schémas. Il explique le mécanisme d'attention juste en montrant des vecteurs et matrices, et ajoutant à l'orale les opérations. C'est pas du tout pédagogique. Il complique inutilement les choses et en fait des caisses. En plus, il manque deux points importants je trouve: il ne parle ni du positional encoding, ni des propriétés des masques d'attentions (la sortie de la softmax). Désolé, mais il explique rien, il se contente de suivre, comme un algorithme, les opérations du mécanisme d'attention et de façon pédante en plus.
@@Arkonis1 Exactement ma pensé, après tout on peut bien faire confiance sur le fait que les multiplications matricielles sont à minima compatible avec leur dimensions 😅
Donné une idée de la taille des données de temps en temps pourquoi pas mais là c'est un peu tout much à mon avis.
Excellente vidéo 👍🏻
J'ai pas entravé un broc de ce que tu as raconté..😢
idem
C'est pourtant indiqué, science pour tous :(
C est clair,avec des mémoire vives multicouches on pourrait grandement accélérer les processus matriciels
Excellente vidéo, sujet bien vulgarisé.
Pourquoi tu as mis des disjoncteurs sur la vignette ?
Excellente video, quelqu'un aurait-il les sources pour aller plus loin ? elles ne sont pas sur le github et je n'ai pas trouvé d'explications sur l'architechture dans l'article qui lance llama 3. Merci beaucoup
Je ne comprend pas à 16:00 tu dis qu'il suffit d'utiliser un encodeur "vocal" pour la voix et après tu dis pour l'image c'est particulier ?
- Pourquoi ?
- J'ai vu des encodeur de sortie niveau son ???
C'est vraiment pas expliqué et j'aimerai comprendre
- Question subsidiaire: pourquoi on pas des models llama 3.x voix et multilingue ?
Je suis friand de vulgarisation scientifique mais je comprends rien à cette vidéo. Ça s'adresse à qui ?
Va au collège
À moi par exemple (je comprends vraiment tout ce qu'il dit, je ne vois pas ce qu'il y a de compliqué...)
A des gens qui ont déjà un solide bagage sur le sujet. Oui parfois les vidéos qu'il fait sont un peu velues pour le spectateur moyen, même celui qui est amateur de vulgarisation scientifique. Là on met carrément les mains dans le cambouis. Il en faut pour tout le monde.
Il faut quelques notions culturelles de mathématiques (vecteurs, norme de vecteur, matrice) et en programmation.. *Vous pouvez interroger chatGPT ou llama à ce sujet et demander de vulgariser ces concepts* ... Après j'avoue que bien qu'intéressé par le sujet et désireux d'aller plus dans le détail, je nage un peu... Sur le moment, j'ai l'impression de mieux comprendre, mais je n'arriverai pas à restituer... Donc vidéo à ré-écouter... *Courage!*
*voilà ma question à chatGPT:* les transformeurs dans le monde de l'IA, c'est ce qui sert à élaborer les modèles? Tu peux m'expliquer simplement... c'est après avoir ingurgiter une grosse source de données.. on fragmente tout en tokens... Un token, c'est par exemple le mot "pol" et après ça peut être recomplété par "ice" "itique" "aire" "ochon"?
Merci.
8:20 tu as dû, je pense, hésiter entre "propage l'information" et "propagation de l'information"
Je confirme : tu parviens parfaitement à éviter de donner une vague impression de compréhension.
Bon. J'utilise maintenant chat gpt pour me souvenir de truc que j'ai oublié et ça marche. Je lui ai demandé de retrouver une bd française dont le style était entre celui de Warhammer et Philippe druillet et du coup il m'a proposé trois auteur, j'ai pas trouvé mais j'ai affiné en décrivant la couverture de la bd puis en précisant la date de parution. Alors il m'a proposé "les chroniques de la lune noir". Je lui ai dit merci. Je n'aurais jamais pu trouver sur Google. Je trouve ça fantastique. Ça marche pour des gens qui ont des mémoires variables.
Seize mille trois cent *huiptante* quatre ?
J'avais jamais entendu les nombres suisses/belges "conjugués" dans des plus grands nombres, hébin c'est pas facile à suivre ! :D
Quand atteindrons nous l'agi selon toi ?
Je n'avais pas compris le smiley 🌶️, je préfère quand c'est écrit [#hardcore], mais c'est peut-être moi qui ait vraiment du mal à les intégrer dans la lecture (les smileys).
Effectivement sur cette vidéo, n'étant pas matheux, j'ai été complètement perdu ; mais je connais la pédagogie et la pertinence de Lê sur les vidéos habituelles non hardcore... Donc si vous voulez vous faire plaisir entre matheux allez-y, je continuerai de suivre le reste avec grand intérêt !
🔥
le problème des régulations c'est que les élus qui devraient voter celles-ci ne comprennent pas grand chose aux risques que vous décrivez, tout en étant fascinés par l'apparente facilité d'utilisation de ces technologies et la possibilité de faire des gains énormes en remplaçant le personnel coûteux, maladroit et limité par des machines multipliables à l'infini.
Au moyen âge on appelait ça vendre son âme au diable, sauf qu'aujourd'hui ce sont les âmes des citoyen·nes qu'ils vendent...
Je vais d’abord aller voir des videos sur les matrices 😂
L’introduction de mêmes permet au contraire de reconcentrer les gens qui se perdent en cassant le rythme de la vidéo sinon ça fait juste comme un cours magistral où le prof débite et les élèves décrochent,
Selon moi
Bref et sinon les explications sont quand même suffisamment claires pour que n’importe quel humain ayant un minimum d’intérêt dans les maths et l’informatique puisse comprendre et auuuu pire parfois je regarde sur l’internet Quésaco ce mot
Qui sait vraiment comment cela fonctionne surtout dans le cas où l'ordinateur est quantique ? Les intelligences artificielles sont entraînées : cela les modifie, les rendant différentes de ce qu'avait choisi les programmateurs initialement. Elles apprennent à apprendre à apprendre.
Il y a plusieurs années j'avais visionné une vidéo présentant un robot programmé avec des directives simples pour manipuler des boules de couleurs différentes. Bien que cela ne faisait pas directement partie de ses tâches le résultat de ses manipulations aboutissait à un tri des boules par couleur.
Des modèles mathématiques profonds utilisant des outils complexes permettent de programmer selon des architectures pour lesquelles il est possible d'avoir une représentation. Je souligne que le cerveau aussi est étudié, de même que le psychisme humain. Des modèles existent, cognitivistes, entre autres. Qui peut pour autant affirmer comprendre le cerveau, la psychologie humaine, la vie ?
J'attire l'attention sur les dangers de générer des programmes de plus en plus élaborés, de les entraîner, de permettre leur modification, d'utiliser des support de plus en plus puissants, et cætera.
Il est possible de faire. Pourquoi faire, dans quels buts, pour quelles finalités, et cætera ?
Merci j’ai enfin un guide pour creuser le sujet
J’ai regardé beaucoup de tes vidéos et beaucoup les ai beaucoup apprécié souvent
Autant la c’est vraiment tout simplement indigeste.. moi qui fait des maths appliqués toute la journée j’y ai vraiment rien compris.
En plus on dirait presque que tu en as conscience en nous perturbant avec des extraits pas vraiment drôle montrant l’imbitabilité de ce que tu racontes. Aussi, pourquoi couper à ce point les blancs ? Pour ne pas perdre notre attention ? On a besoin de respirer après des phrases aussi longues et complexes! Autre conseil : faire dérouler un texte long de 30 lignes en même temps que tu racontes un truc super complexe ça perd tout le monde. Ou alors on doit faire pause toutes les 10 secondes mais personne fait ça.
Vulgariser c’est faire des analogies, faire le rapprochement avec des choses concrètes de la vie.
Dernier point mais plus personnel : la posture constante dramatique, la fin du monde, l’horreur de ces algos .. Faudrait être positif des fois, se réjouir du génie humain qui a réussi à pondre ça je sais pas .. !
Désolé pour la froideur du commentaire mais je pense que beaucoup ressentent la même chose !
Inspire toi de Michel Bierlaire et Sciences Étonnantes
Il faut que je révise les bases des réseaux de neurones.
Ben wouaih c'est facile additionner des matrices ... mais au final c'est quoi un token 😅
slt, j'ai vu un youtubeur dire que l'ia c'est aussi basé sur la théorie des 3 corps c'est juste ?
je vois pas le rapport.. ( sans compter qu'"IA" ca veut tout et rien dire )
@@DamienAristodemo ok merci, c'était comment l'ia positionne ses "neuronnes" pour résoudre une identification.
@@Eye974 je vois toujours pas le rapport avec le pb a 3 corps (ni exactement ce qui est dit par "positionne" ses neuronnes ) desole ! :-) apres, y'a peut-être un rapport un peu tiré par les cheveux, ou peut-être que je connais pas assez l'un ou les deux sujets !
@@DamienAristodemo np merci pour la réponse :).
@@DamienAristodemo j'ai retrouvé la vidéo c'est ce titre si ça t'interesse "Le Problème à 3 Corps : Visualisation de Données et Intelligence Artificielle" ++
quand le micro est plus massif que celui qui parle dedans mdr
Les effets de montages distraient plus qu’autre chose
C’est dit un peu sèchement mais c’est vrai
et tu penses que que tu vas pouvoir houitante-quarer comme ça encore longtemps ?
y'a qu'une seule solution : l'échange humain ! ... l'apéro quoi !
Santé :*
Sa fait deja un boute que llama 3.2 existe mais tu parle de la 3.1 ... ?
llama 3.2 est quasiment identique a llama 3.1, la seule différence est la multi-modalité.
J'ai pas installé ChatLê pour décoder...
C'est définitivement de très haut vol, je pense que je devrais prendre le temps de bien comprendre chaque terme..
Cette vidéo est utile à qui ? Il ne s'agit en rien de vulgarisation, donc même une personne qui a fait un bac scientifique ne va pas comprendre la vidéo.
Et une personne qui connait ces concepts en IA, doit déjà connaître cette suite d'étapes.
Il y a sûrement des personnes qui se situent entre un bac scientifique et un ingenieur en IA😉
@@toto7956Peut-être, mais ce n'est plus "science for all".
@bertrand3383 En effet 😁
C'est effectivement loin d'être une bonne video, qui ne vulgarise rien. Une meilleure video (en 3 partie) 3Blue1Brown qui a fait un bel effort de vulgarisation.
Il a dit nonante je suis perturbé
T'es belge?
???
"nonante" (2:06) est aussi utilisé en Suisse romande, je pense que c'est parce qu'il travaille là-bas qu'il a adopté ce mot. Je suis français comme Lê, mais je vote pour que toute la France utilise "nonante", c'est plus court et bien plus logique que "quatre-vingt-dix"...
Je vote aussi pour dire septante et nonante
il demande ça pour le "octante quatre" je pense..
Sur Suisse
ARRETE AVEC CE MONTAGE JE T'EN SUPPLIE !
Bonjour Lê, j'aime beaucoup ton travail, mais dernièrement ton montage ne met pas en valeur le contenu et détériore grandement mon visionnage.
Faire irrupter d'autres créateurs de contenus de manière intempestive ne permet pas de garder mon attention sur la vidéo, au contraire j'ai envie de la quitter a chaque fois que cela arrive.
@alexandrepasco7378 Réglé sur le mode paranoiaque !! 1:25
Je vais pas dire que j'ai rien compris du tout, mais j'ai clairement pas tout compris
Le mépris technologique
C'est for de dire nonantes 9, ca fait penser aux gens qu'il faut commenter
ChatGPT, c'est une grosse bouse, il n'a pas été capable de me donner les résultats de l'Euromillion selon les statistiques des tirages passés. Pas dur pourtant pour une IA, non ? En plus il s'est vexé quand je lui ai alors dit qu'il était inutile
Tes vidéos manquent de pédagogie. Laisse tomber les blagues et les effets de montages débiles et explique mieux tes propos sans poudre aux yeux.
C'est à dire ?
Vu vos commentaires passés sur la chaîne, vous êtes un bien triste personnage. A quoi bon s'acharner à dénigrer toutes les vidéos? Si ça ne vous plaît pas passez votre chemin
Moi ce que j'aime c'est qu'il dit huitante pour 80 du coup je comprend beaucoup mieux.
Et toi, tu es qui ?
S'il est obligé d'expliquer toutes les notions qui sont supposées acquises légitimement dans la vidéo, la vidéo dure 2h. Je pense que tu confonds pédagogie et l'explication des connaissances prérequises. Et ce n'est pas en enlevant 1 min de blagues que tu comprendras mieux la vidéo si c'est ça qui bloque.
huitante
je pense que tu n'as pas bien compris ce "je-ne-sais-quoi" qui fait la différence fondamentale entre les transformers et les decepticon. Du coup ta problematique est un peu pourtie et tu passes complètement à côté du sujet. Relis Bergson!!!
ok, mais ca ressemble à quoi ? tu n'as pas répondu clairement à la question...
Bah si . À des matrice de dimension exagérément grande. Et à des vecteurs qui peuplent des espaces vectoriel de taille tout aussi grande. Il faut avoir fait beaucoup d'algèbre linéaire pour saisir.
Rien compris
AUSSI FACILEMENT PIRATABLE QU'UN PC WINDOWS !
th-cam.com/video/BEjn9xBdQp8/w-d-xo.html
😂
j ai rien compris ^^^