วีดีโอ

est ce que je peux faire un rag ou fine tunning très simplement ? je ne connais que dale au code

trop fort, est-ce qu'un custom GPT c'est du fine tuning? moi qui ne connais que dalle au code est-ce qu'il y a une façon simple de faire un rag ou du fine tuning parce que les réponses que j'obtiens quand je lui dis que c'est un expert dans un sujet il me fait des tutos complètement claqué

salut moi qui n'y connais rien au code est-ce qu'il y a moyen que je fasse du fine tuning ou un rag très facilement je veux dire les réponses que j'obtiens , les tutos sont carrément HS est-ce qu'un custom GPT c'est du fine tuning ?

Il faudrait voir si des modèles comme BERT ou BART (s’ils sont mis à l’échelle des LLMs modernes en termes de taille et de données d’entraînement) passent le test du reversal curse. Ces modèles ont un mécanisme d’attention bi-directionnel, et n’ont pas ce biais de prediction du mot suivant de droite à gauche uniquement. Peut-être que le problème est juste un artéfact technique dû au causal attention. Parce que ça m’a l’air d’être un problème de modélisation linguistique. Le LLM a des lacunes en inférence linguistique: fr.m.wikipedia.org/wiki/Modèle_d%27inférence.

Excellente vidéo, comme d'habitude ! MERCI !

du coup la réduction de dimensionnalité 13:13 utilise quel algorithme ?

Super vidéo bravo

Merci pour cette vidéo très intéressante

toujours très intéressant bravo !

6:57 Kinshasa ✨ je m'y attendais pas du tout ❤

Le mot le plus probable n'est effectivement pas forcément une simple affaire de bête répétition stochastique: imaginons un roman policier qui se termine par "et donc l'assassin est...". Pour donner le mot le plus probable (le nom de l'assassin), il faudrait avoir compris l'intrigue aussi bien que le détective qui révèle le coupable. Ce n'est pas toujours aussi simple que "le chat mange la...". Sinon, j'anticipe avec grand plaisir une vidéo sur la compression et l'entropie, j'espère qu'elle verra le jour, le sujet est passionnant <3

Le constat que je fais c'est que tous les grands acteurs de l'ia rencontrent les mêmes problèmes/erreurs lors de l'élaboration de leurs models. Si seulement ils partageaint tous leurs decouvertes et expertises on avancerait plus vite dans la recherche en ia , mais tout le monde veut faire son propre llm...

Tu penses que les futures LLM qui seront plus gros seront faire que cela ou auront des nouvelles propriétés (émergentes) ?

Il n'y a pas vraiment de contradiction entre prédire le mot le plus probable et créer une représentation interne : la meilleure façon de prédire le mot le plus probable est justement de développer une représentation interne. C'est l'opposition qu'on fait entre un perroquet stochastique et un agent qui comprend qui me semble fallacieuse, un bon perroquet stochastique doit avoir un certains degré de compréhension. Et si les LLM ne connectent pas tous les points c'est peut-être que la taille des données ou la durée de l'entraînement n'est pas encore suffisante pour qu'ils capturent toute la structure d'un agent qui produit du langage.

Très bonne vidéo, merci à toi ! Pour ce qui est du soucis généralisation de B=A à partir A=B, est ce que tu penses que si on avait le moyen de doubler la taille du dataset d'entrainement et de construire les inférences inverses (en utilisant un LLM par exemple) réglerais le problème ou bien en créera d'autres ?

J’espère que la vidéo vous a plu ! Quelques notes et ressources dont je n’ai pas parlé dans la vidéo : -ma reproduction de l’expérience A=B/B=A : ça marche bien ! x.com/AlexandreTL2/status/1725966137161056515 -une interprétation plus « concrète » de la non généralisation de B=A à partir A=B existe aussi. Elle se base sur l’étude de « circuits » dans les Transformers (domaine de la mechanistic interpretability). On se rend compte en fait que les faits stockés dans les Transformers le sont seulement « dans un sens ». C’est un autre point de vue. -dans la vidéo, on a parlé de deux « modèles mentaux » qu’on peut avoir sur les LLMs. Vous pouvez en découvrir un troisième ici : substack.com/@fchollet/p-137628402. Ce modèle permet de comprendre pourquoi le « prompting » est nécessaire lorsqu’on utilise des LLMs (ie, formuler correctement la demande pour faire effectuer une tâche précise). L’idée globale est de dire que les LLMs sont des base de données de « programmes », et le prompting permet de retrouver le bon programme. Par « programme », on peut par exemple retrouver : « traduction anglais -> français » ou « réécrire un poème dans le style de Victor Hugo ». -récemment, une étude sur le « grokking » a permis de mettre en avant une méthode d’entraînement qui permet aux Transformer de « raisonner implicitement », le même phénomème qu’observé dans les expériences « Connecting the dots » : combiner des exemples d’entraînement pour en tirer des conclusions. Le grokking désigne le moment de l’entraînement où les performances du modèle passent de « très bon sur les données d’entraînement, mauvais sur les données de test » à « très bon sur les données d’entraînement, très bon sur les données de test ». Autrement dit, le moment où le modèle arrive à généraliser ce qu’il a appris à de nouvelles données jamais vues. Le lien : x.com/BoshiWang2/status/1795294846212567089

Hello l'explication est top, via quel logiciel tu fais ton motion pour expliquer les concepts ?

trop fort

Merci beaucoup pour votre travail, et s'il vous plait continuer le plus longtemps possible Merci !!

HEY merci pour ton travail.

Très clair merci

Super video, le travail est de vraiment qualité ! PS: Y a-t-il une raison particulière dans le code d'utiliser : for (c, i) in zip(vocabulaire, range(len(vocabulaire))): Au lieu de : for i,c in enumerate(vocabulaire):

Merci pour les vidéos, je voulais te demander de faire une vidéo spéciale sur le traitement du facteur de temps dans les transformer comment il garde ne mémoire les informatisations par rapport a une série temporelle de valeur numérique comme la météo par exemple?

Tu as la même voix que dirty biology ....

Pq sphère? C'est cylindre hi hi hi

Numba la combinaison de numba et Numpy c'est cool pour la vision par ordinateur!

vidéo très intéressante. t'as oublié le xlstm qui est une bonne alternative aussi ^^.

Un dictionnaire qui parle, je veux dire un réseau de neurone c'est comme un dictionnaire qui parle. Il fait pas encore le café..

Il y a quand même certains signes qui ne trompent pas.. Je ne vais peut être pas acheter la dernière Nviva tout compte fait

Ils ont sérieusement appelé un truc de ML "vim" ? sans réfléchir ? Vraiment les notebooks jupyter ça ravage le cerveau

Combiner les deux, c'est souvent un principe de base ! C'est ouf que l'attention ne serve plus qu'à 8% des parametres sur le modèle hybride d'ailleurs. Ca ma rappelle comment les modèles comme midjourney sont apparus, en combinant les LLM avec les modèles de traitement de l'image pour aboutir à un prompt qui génère des images qui existent pas :D

Vidéo très visuelle et super intéressante, merci!

Explication très claire, merci ! C'est un contenu d'une grande qualité car 1) On ne brade pas sur la "complexité" du modèle à travers des explications par analogie ou métaphores, on rentre dans les maths et 2) Malgré ça tu donnes des explications claires avec un montage simple comme il faut qui transmet de bonnes représentations pour aider à la compréhension.

Il faut beaucoup d'intelligence humaine pour créer un peu d'intelligence artificielle 😅

Merci beaucoup pour toutes tes vidéo !! Ta 1ere m'a déjà était super utile pour mon implémentation sur Burn, maintenant je vais faire la maj et j'ai quelques nouvelles idées X,)

Je serais ravis d'une petite video qui fait un tour d'horizon des differentes autres architechtures dont vous parlez! J'avoue a avoir du mal a imaginer autant de facon de faire, comme votre petit shema le laisser deviner😍 Pour la petite histoire, ya quelques annés j'avais tenté un truc farfelu a souhait, un espece de bouillit de neurone (avec des boucles l'infinit), et une methode de récompense assez foireuse basée sur la frequence d'activation, l'activation la plus récente, la distance par rapport a la sortie et une petite memorisation des chemins empruntés... je voulais que le modele puisse continuer tourner dans le vide en produisant ou non des sorties qu'il y ai entrée ou non, un peu comme si il reflechissait le temps que il le souhaite avant de repondre .... eh bien je me suis rendu compte que j'aurais du faire des etudes dans le sujet a la place de réinventer la roue, au final ca a donné un generateur de nombre aléatoires infernal xD Evidament j'etait plus jeune et je ne me rendais pas compte que c'etait pas si simple, mais je serais curieux de savoir si ce principe a vaguement ete exploré, j'avoue ne pas avoir trouvé grand chose sur le sujet, la faute probablement a mon vocabulaire technique inexistant

Super vidéo! Et merci d'aborder les faiblesses de Mamba, curieux de voir si cette archi peut être largement supérieure aux transformer sur des cas très spécifiques

Et hop un petit coup de pouce pour l'algorithme

9:09 🇧🇷

Merci pour cette vidéo

merci pour cette vidéo très intéressante :)

Super vidéo. Enfin du détail en français

Quand j'y penses... un gros modele du genre doublé d'un ssm qui fonctionne bien, pourrait vraiment etre une techno de rupture...j'espere que ca sera pour bientot

Merci c'est tellement plus clair. Je ne trouve pas la vidéo annoncée à la fin sur le positional encoding ? (en passant : un gros +1 sur la demande sur les ViT !)

Vraiment super vidéo! Très intéressant, très bien tourné et très clair! J'attends les prochaines vidéos avec impatience!

Super interessant !

Super vidéo, très intéressante. Est-ce que tu as prévu de faire un jour, une vidéo explicative sur la méthode PEFT LoRa j’ai remarqué qu’il n’y avait aucune vidéo francophone qui parlait de ça alors que c’est pourtant une avancée majeure est très utilisée actuellement.

Je n'ai jamais laissé un commentaire sous une vidéo mais la je le fais car c'est un p***** de travail de vulgarisation!!! J'espère que tu vas continuer encore longtemps car tu réussi AVEC BRIO à bien expliquer les concepts pour des novices comme moi; Gros pouce bleu et j'ai vraiment hâte d'en apprendre encore et encore.

Excellente vulgarisation ! Et juste par curiosité, avec quoi sont faites les animations/éléments présents dans la vidéo ?

Alors, arrivez-vous à discerner en vrai et faux nom de commune ? >> alxndrtl.github.io/communes/