Jul.... Le blanc africanisé. Sous le niveau de la mer. Impossible de faire de l'ia avec l'inverse de l'intelligence. Désolé pour le micro AVC j'ai vu ton clavier LGBT conforme à la propagande mondialiste. Je ne jugerai pas.
On a encore beauuuucoup de chose a apprendre sur l’IA, c’est que le debut je pence, Je serais curieux de voir le résultat de faire comuniquer une ia, avec une ia 😊
Travail exceptionnel, merci pour ces explications et bravo pour le travail. En plus d'être informatif, le contenu est très agréable à suivre. Heureux de découvrir cette chaîne aujourd'hui.
Excellente vidéo ! Je travaille actuellement sur les transformers, mais spécifiquement dans le domaine de la classification d'images pour mon mémoire et je tiens à souligner la qualité exceptionnelle de vos explications.
Je tombe par hasard sur votre vidéo... et quelle bonne surprise, sûrement la meilleure à ce jour en termes d'explications. Maintenant on peut commencer à argumenter pourquoi il va être compliqué d'avoir des modèles de langage qui développent comme des experts. Si on veut un modèle de langage qui soit plus performant par un facteur X (notion de performance restant à définir), quel est le facteur Y sur le besoin en infrastructure? Quel est le facteur Z pour la taille des données d'apprentissage ? Je ne dis pas que ce n'est pas possible d'avoir des IA globales ou meilleures que le meilleur des experts humains. Mais quelle est la relation entre X, Y, et Z ? Logarithmique ? Linéaire ? Quadratique ? Exponentielle ? Si il faut multiplier par 10 la taille des infrastructures pour augmenter d'un facteur 2 la puissance d'un modèle de langage, on voit vite qu'il y a un problème. De même pour les données d'apprentissage.
Au sujet du grand remplacement: dans mon entreprise tous les outils se basant sur les outils deep learning & co sont bannis pour des raisons de confidentialité et de propriété intellectuelle. Pour faire mon dinosaure: il y a des années de ca les premiers IDE devaient remplacer les devs experts pour que des devs juniors puissent avoir la meme productivité. Puis les méthodes de conception merise, uml & co devaient elles aussi se débarrasser des devs pour se focaliser sur le design puis faire de la génération de code automatique. Puis les languages à base de machines virtuelles devaient permettre de faciliter le développement en ne demandant plus aux devs de savoir comment marche la mémoire ou le cpu. Puis les nouveaux IDE ont automatisés pas mal de choses (cf. Intelij qui s'occupe d'un peu tout) tout en améliorant l'existant (complétion contextuelle, refactoring, ...). Bref les devs sont toujours là (et le niveau des juniors est clairement plus faible qu'il y a 10 ans la faute à des programmes d'études ultra chargés: tout voir mais ne rien vraiment connaître) mais clairement l'IA dans les prochaines années va automatiser pas mal de choses et tout ceux qui ont actuellement un poste sans connaissances ultra technique et/ou fonctionnelles/métier vont subir le changement. De temps en temps je regarde une image en noir et blanc qui date de l'éclatement de la bulle internet "will code for html for food". Dans les années 90 toutes les grandes boites internet de la Silicon Valley (Yahoo, ...) utilisaient des armées de dev html... qui ne connaissaient pas grand chose d'autres. Quand les plateformes sont passés à du code généré (jsp, php, ...) ils ont virés ces milliers de personnes du jour au lendemain. A méditer...
Merci d'avoir partagé ton experience, très intéressant :) Je ne pense pas que les dev vont être remplacer tout de suite mais a moyen terme je pense que le métier va énormément évoluer.
@@cocadmin En fait le problème principal de l'intelligence artificielle va se poser là : Pour pouvoir créer un outil de A - Z avec une IA, il va falloir lui décrire à l'exactitude tous les micro-fonctionnalités de l'application pour que ça ait du sens, car n'importe quelle ambiguïté laissera champ libre à l'IA à l'imaginer comme bon lui semble, et décrire à l'exactitude toutes les micro-fonctionnalités ça a un nom : "Programmer". L'IA ne remplacera jamais des développeurs peu importe le niveau qu'elle atteint, car il faudra toujours pouvoir lui décrire techniquement comment ça doit fonctionner, et même si on atteint des niveaux délirants, il faudra toujours avoir des connaissances de comment ça fonctionne derrière pour pouvoir éviter des pièges évident et autres. Après peut-être que le futur transformera le code en simple prompts en langage naturel, mais il sera toujours long et laborieux de créer des logiciels, même si ça sera sûrement grandement facilité par l'intelligence artificielle.
A mon avis la question à se poser est la suivante: si on veut un modèle de langage qui soit plus performant par un facteur X (notion de performance restant à définir), quel est le facteur Y sur le besoin en infrastructure? Quel est le facteur Z pour la taille des données d'apprentissage ? Plus précisément, quelle est la relation entre X et (Y, Z) ? Logarithmique ? Linéaire ? Quadratique ? Exponentielle ? Si il faut multiplier par 10 la taille des infrastructures pour augmenter d'un facteur 2 la puissance d'un modèle de langage, on voit vite qu'il y a un problème. De même pour les données d'apprentissage. Le plafond sur lequel l'IA basée sur les modèles de langages va se taper la tête pourrait très bien venir de là.
Salut Cocadmin, j'ai découvert ta chaîne ces jours ci et j'adore !! Tu as exactement ce qui manque à Chatgpt pour prétendre à l'intelligence, comme la perception du contexte, la vision haute, l'intuition et la mémoire du fil de conversation. J'en ai d'ailleurs "parlé" avec lui et nous sommes tombés d'accord. En fait pour prendre une analogie, chatgpt, c'est un peu comme un maçon, il sait assembler des blocs très bien, mais construire une maison, il en est incapable car il n'a pas idée du contexte, il ne comprend pas l'objectif ni l'usage attendu. Bref, il a conscience de ses propres limites, ce qui est déjà bluffant. On pourrait dire qu'il ressemble à ce qu'on attend des employés d'une entreprise : faire plutôt que comprendre, ce qui amène souvent à faire n'importe quoi... Néanmoins, la perte de conscience progressive des humains occidentaux devrait permettre bientôt à chatgpt de faire aussi mal qu'un humain occidental 🤔
J'ai appris beaucoup vraiment top cette video, une petite demos de ce qu'est le fine-tuning et les models LLM en open source sur huggingface serait fort instructif en tout cas merci pour cette video passionnante et de qualité
Très bonne vidéo de vulgarisation sur le sujet, avec une présentation et un montage bien soignés. J’aime beaucoup ton approche. Quelques petites précisions/ remarques : - 124 millions de paramètres c’est pour la version small de GPT-2. Quand on le mentionne sans préciser on parle plutôt de celui a 1,5 milliards. - Pour les paramètres de GPT-4, je ferais preuve de prudence au moment de parler chiffres. Même si les sources peuvent paraître crédibles, OpenAI a déjà menti par le passé et on sait pas s’ils utilisent tous les supposés modèles en même temps etc. - GPT 3/3.5 peuvent avoir jusqu’à 4096 tokens dans leur fenêtre de contexte, et pas 2000. Même si lorsqu’on utilise la web app il y a déjà une partie utilisée par OpenAI avec leur prompt.
Cette vidéo à le niveau de détail parfait pour une introduction technique à l'IA et aux LLM. Ça souligne les grands concepts mais ça reste concis, et ça pointe vers des resources si on veut reproduire soi-même. Merci !
Avec Kubernetes, l'autoscaling peut être géré en utilisant la fonctionnalité intégrée d'autoscaling horizontal (Horizontal Pod Autoscaler, HPA). L'HPA permet à Kubernetes d'ajuster automatiquement le nombre de répliques de pods (instances) en fonction de la charge de travail du cluster. Cela permet d'assurer que les applications sont toujours correctement dimensionnées pour faire face aux fluctuations de la demande. Par exemple, si tu gères l'autoscaling avec Kubernetes en utilisant l'Horizontal Pod Autoscaler, voici comment procéder : Tout d'abord, tu dois spécifier les métriques en fonction desquelles Kubernetes doit effectuer l'autoscaling. Il peut s'agir de métriques telles que l'utilisation du CPU, l'utilisation de la mémoire, ou des métriques personnalisées que tu as définies. Ces métriques seront utilisées pour évaluer la charge de travail du cluster. Tu dois spécifier les seuils de déclenchement pour l'autoscaling. Par exemple, tu peux définir un seuil d'utilisation du CPU de 70 %. Lorsque l'utilisation du CPU dépasse ce seuil, Kubernetes déclenchera l'autoscaling pour ajouter de nouvelles répliques de pods. Une fois que tu as configuré les métriques et les seuils, Tu peux créer un objet HPA dans Kubernetes en spécifiant les détails de l'autoscaling, tels que le nombre minimal et maximal de répliques de pods que tu souhaites. Une fois que l'HPA est en place, Kubernetes surveille en permanence les métriques spécifiées pour évaluer la charge de travail. Si les seuils sont atteints ou dépassés, Kubernetes ajustera automatiquement le nombre de répliques de pods en conséquence. L'utilisation de l'Horizontal Pod Autoscaler dans Kubernetes facilite grandement la gestion de l'autoscaling, car il s'occupe automatiquement d'ajuster le nombre de répliques de pods en fonction de la charge de travail, ce qui permet de maintenir les performances et de faire des économies de ressources lorsque la demande diminue. J'espère t'avoir aidé! Ciao!
Thanks! C'est effectivement une bonne solution, est-ce que l'horizontal pod autoscaler peux gerer plusieurs type et/ou tailles d'instances ou ton cluster doit être homogène ?
@@cocadmin L'Horizontal Pod Autoscaler (HPA) dans Kubernetes peut gérer plusieurs types et/ou tailles d'instances au sein d'un cluster. Le HPA est conçu pour ajuster automatiquement le nombre de répliques de tes pods en fonction de l'utilisation des ressources, telle que l'utilisation du CPU ou de la mémoire. Il ne se soucie pas de la taille spécifique de chaque instance, mais plutôt de l'utilisation globale des ressources par les pods. Ainsi, tu peux avoir des nœuds (instances) de différentes tailles dans ton cluster, et le HPA s'adaptera en conséquence en augmentant ou en diminuant le nombre de répliques de tes pods pour répondre aux besoins de charge. Cependant, il est essentiel de garder à l'esprit que certaines apps ou charges de travail peuvent avoir des exigences spécifiques en termes de ressources ou de capacités matérielles, et cela peut influencer ta décision sur la configuration de ton cluster Kubernetes. Tu dois t'assurer que les différents types et tailles d'instances disponibles dans ton cluster peuvent satisfaire les exigences de tes apps pour une mise à l'échelle efficace. PS; Y a pas que des gars qui te suivent comme tu peux voir, alors au début de tes vids, pense aussi à saluer les filles! LOL
Et d'avoir une sorte de super IA open source et en peer to peer, genre un peu comme les torrent, ou la blockchaine, mais en gros chaque personne telecharge une application sur son PC pour entrainer UNE SEUL MEME IA collective
@@monsieursoze4859 Tu parles detique, ben pas sur que de centraliser sois ethique car une seul et meme entiter choisis de censurer ce quil veut, alors que de mettre 0 censure, naurais pas ce probleme. Pour qui nous nous prenons pour cenuser ou pour dire que quelque chose nest pas acceptable. Les moeurs et coutume de differant pays ou civilisation sont bien differante et certaine chose que nous europeen trouvons pas etique peut letre pour certaine personne ou dans certaine coutume. Censurer par une seul et meme entiter reviens a un systeme de dictature. un systeme ouvert serais plus benefique, et rien emepeche apres davoir des multiple de systeme parallele a ce systeme avec des filtre de censure propre a chaqu'un on peut meme imaginer que certaine pays autoriserais que leurs propre version de ce systeme avec leur censure, mais le noyau doit etre 100% libre, ouvert et sans censure.
Salut, j'ai eu la même idée y'a peu de temps aussi, une chaîne qui m'a aussi beaucoup aidé à comprendre l'IA c'est Machine LearnIA, c'est en français et plutôt bien expliqué
@@digelQ8 bas si, cela insignue si j'ai bien compris vos propos que celle ci ctrl + c du code et n'évolura pas ne fessant que des ctrl + c bien organiser :). Pas comme nous ou on pourrait en comprenent se qu'on ferait résoudre des problemes de p = np
@@printvoyageur4386 c'est une IA generative, elle ne fait pas que copier du code et bien l'organiser, elle crée à partir d'un modèle statistique, ce qui implique qu'elle est capable de découvrir des relations logiques qui ne sont pas directement inferable dans la base de donné. Le terme clé ici est "directement". Toute forme de création est nécessairement un patchwork de connaissances préexistantes, avec ces IA on approche d'un degré de sophistication de ce patchwork qui ressemble diablement aux capacités d'inférence humaines i.e. Comprendre les émotions d'un texte, faire des maths etc.
- Convolution: * Action de convoluter, enroulement ensemble depuis un sommet, en papillote. * (Mathématiques) Opération qui consiste en la combinaison de deux fonctions. Sinon nous avons des CIRconvolutions dans le cerveau, ce qui semble logique dans un contexte où l'on parles de logiciels utilisant des couches de neurones artificiels :) Après "voluter" et "convoluter" n'est apparemment pas la même chose, vu qu'une "volute" (de fumée par exemple, qui... VOLe) n'est pas en forme de papillote mais de spirale.
Masterclass la vidéo, cimer ! D’ailleurs tu fais l’erreur (volontairement ou non) de dire chat-gpt 4, chat gpt 3, etc. mais faut bien différencier le modèle, à savoir GPT dans toutes ses versions (GPT-2, GPT-3.5, etc.) de l’application d’openai qui est chatgpt, et qui est juste plus ou moins une interface avec des appels aux modèles GPT, un peu de front, etc.
Super merci, plein de réponses à mes questions sur les LLM, c'est cool ! dire qu'on a Pi sur le tél désormais et c'est une IA très sympatoche, presque une amie ^^ MERCI ...Abonné, trop fort et trop cool tu es..Bravo pour ton travail et ton partage👌👍
il y a yahoo answere et stackoverflow il faut un peu de traitement pour extraire la réponse en quelques mots mais cette tache en linguistique on sait le faire... mais il doit y avoir d'autres site qui permet d'avoir des questions/reponses
Salut, super video, j'ai vraiment aimé. J'espère que tu feras un épisode 2 sur un autre type d'IA. D'ailleurs, ca serait possible d'avoir le Github de ton code stp
L'intérêt le plus grand de l'IA ça sera surement pour optimiser le code informatique, que cela soit en terme d'apprentissage, de vérification, et d'optimisation (propositions de solutions alternatives avec leurs avantages et inconvénients). On peut même imaginer des langages informatiques qui soient créés par de l'IA, afin d'empêcher toute faille de sécurité, rapide et économe en mémoire.
Dans tous les cas c'est la capacité à collaborer avec les IA qui fera la différence. Je ne crois pas à des métiers totalement remplacés par les IA ou des métiers qui se passent totalement des IA...
@@Ctrl_Alt_Sup Absolument. L'idéal ce n'est pas la dépendance et le remplacement de l'humain par l'IA, mais la coopération entre l'humain et l'IA (avec la capacité de l'utiliser en pilotage automatique pour certaines tâches à certains moments).
Ah bah tiens elle tombe très bien cette vidéo, j'ai vu que les deux premières minutes et je me pose exactement les mêmes questions. Je regarde la suite.
@@cocadmin Pas possible aujourd'hui ou pas possible du tout ? lol je dis sa parce que en physique quantique les matériaux peuvent changer et j'ai vue que aujourd'hui on peut stocker des données dans des molécules qui ont des propriétés quantique.
moi jai créé un chatbot complet en 1 minute avec chaatgpt lui meme. je lui est demander de généré un code source python utilisan la bhibliothèque PYtorch et un module poure créé un transformer qui peut répondre a tout mes question mais c'est rudimentaire.
T'as raison man, de Shakespeare à Jul ...il n'y a qu'un ..tunnel? Et .. quelques siècles ? Quelle "TroLL" de données d'entraînement semblerais je penser ..sans dépenser me diras tu? Serait ce de la sorte possible, alors..qu'afin d'aiguiser les mélodies de la starnaque de demain sur une base de pink floyd, l'on puisse a l'occasion (entre 2 shorts) , créer une musique novatrice incontournable et "bankable", sur des LLM de la musique de Brawl Stars? On se le demande...ou l'on demande a l'iA ?! LoL.. tu m'as bien fait rire, toujours intéressant, merci 👍
Je voulais savoir après avoir entraîner le modèle il faut toujours l'heberger? Ou on peut l'utiliser localement ??? Et je m'abonne continuez dans cette voie Fréro
Une IA ne pourra jamais nous remplacer sur un projet custom, qui mélange plusieurs langages, dont le métier ignore lui même parfois ce qu’il veut et où le projet contient des 100ene voir milliers de fichiers dans des langages pas forcément typé et simple à retracer. Puis même si elle était capable de faire des choses aussi complexe il faudrait quelqu’un pour la diriger, écrire les prompts, vérifier le code, les possibles régression, les mauvaises interprétations, etc. Même avec des spécification ultra détaillée il n’est pas rare de devoir faire appel au product owner et de demander plus d’info au métier pour combler un manque d’info cruciale ou imprévue en cours de route. Bref ça fait beaucoup à maîtriser pour pouvoir nous remplacer et la liste pourrait être énormément plus longues sur des sujets tout aussi complexe et pas forcément lié à l’écriture de code pure (QA, code review, déploiements, etc.).
@8'13 Salut, video trees sympa! cette methode dont tu dois parler, c'est pas le Transfer Learning? Tu peux recuperer les parametres d'un modele et tu les entrainent sur tes propres donnees...
une des etape dont j'ai pas parlé est une étape de reinforcement learning apres le fine tunning. Ou en gros tu generes plusieurs reponses et tu demande a un humain de choisir la meilleure et tu pousser ton model a donner des meilleures reponses.
Perso.. Yann Lecun, après avoir suivis quelques conf, j'ai capté le raisonnement qu'il a eu et comment on l'applique techniquement. Sinon, je me tate aussi pour installer une petite IA, toutes faites, pompé sur Github, et essayer de développer.. .. .. une sorte d'API ou je pourrais balancer la sortie d'applis standart, pour améliorer les résultats ou augmenter le nombre de fonctions, filtres, etc .. ( J'essaie toujours de conceptualiser le "truc" ) Mais c'est clair, cette techno, ca fait vriller ..🎉😁
Excellente vidéo de vulgarisation. Cependant, tu ne peux pas dire que le modèle Transformer est basé que sur 300 lignes de Python. Parce que je suppose que tu fait référence à la structure basé sur du pyTorch.
je suis dev et si l'IA sait me remplacer je m'inquiète. Non pas parce que je vais pointer à pôle emploi, mais parce que ça signifie qu'elle sera autonome et pourra alors créer une contre société et nous défoncer ! Et pour en revenir à la vidéo, beau travail ! Je vais checker tes autres vidéos
@@cocadmin serait temps d'acheter une 3070 (y en a des bonnes pour pas cher voir des ti, ou si t'as l'argent une 4070 à 600 euros) 😅. En tous cas solide
Est-ce que vous utilisez kubernertes ? Comment vous gérez l'autoscaling ?
Merci à Cast.ai : l.cocadmin.com/castai
Jul.... Le blanc africanisé. Sous le niveau de la mer. Impossible de faire de l'ia avec l'inverse de l'intelligence.
Désolé pour le micro AVC j'ai vu ton clavier LGBT conforme à la propagande mondialiste.
Je ne jugerai pas.
Ok
Merci Cast AI
On a encore beauuuucoup de chose a apprendre sur l’IA, c’est que le debut je pence,
Je serais curieux de voir le résultat de faire comuniquer une ia, avec une ia 😊
Bonsoir svp comment je peux téléchargé l'application prédictor aviator
Mec, c'est incroyable la quantité d'infos et de concepts que tu as synthétisés dans cette vidéo sans la rendre indigeste. Keep on with the good work!
Il faut plus de youtubeurs comme toi
Travail exceptionnel, merci pour ces explications et bravo pour le travail. En plus d'être informatif, le contenu est très agréable à suivre. Heureux de découvrir cette chaîne aujourd'hui.
Excellente vidéo ! Je travaille actuellement sur les transformers, mais spécifiquement dans le domaine de la classification d'images pour mon mémoire et je tiens à souligner la qualité exceptionnelle de vos explications.
Comme d'habitude, une masterclass de ta part.
Tu devrais franchement faire + de vues
Je tombe par hasard sur votre vidéo... et quelle bonne surprise, sûrement la meilleure à ce jour en termes d'explications.
Maintenant on peut commencer à argumenter pourquoi il va être compliqué d'avoir des modèles de langage qui développent comme des experts. Si on veut un modèle de langage qui soit plus performant par un facteur X (notion de performance restant à définir), quel est le facteur Y sur le besoin en infrastructure? Quel est le facteur Z pour la taille des données d'apprentissage ?
Je ne dis pas que ce n'est pas possible d'avoir des IA globales ou meilleures que le meilleur des experts humains. Mais quelle est la relation entre X, Y, et Z ? Logarithmique ? Linéaire ? Quadratique ? Exponentielle ? Si il faut multiplier par 10 la taille des infrastructures pour augmenter d'un facteur 2 la puissance d'un modèle de langage, on voit vite qu'il y a un problème. De même pour les données d'apprentissage.
Au sujet du grand remplacement: dans mon entreprise tous les outils se basant sur les outils deep learning & co sont bannis pour des raisons de confidentialité et de propriété intellectuelle.
Pour faire mon dinosaure: il y a des années de ca les premiers IDE devaient remplacer les devs experts pour que des devs juniors puissent avoir la meme productivité. Puis les méthodes de conception merise, uml & co devaient elles aussi se débarrasser des devs pour se focaliser sur le design puis faire de la génération de code automatique. Puis les languages à base de machines virtuelles devaient permettre de faciliter le développement en ne demandant plus aux devs de savoir comment marche la mémoire ou le cpu. Puis les nouveaux IDE ont automatisés pas mal de choses (cf. Intelij qui s'occupe d'un peu tout) tout en améliorant l'existant (complétion contextuelle, refactoring, ...). Bref les devs sont toujours là (et le niveau des juniors est clairement plus faible qu'il y a 10 ans la faute à des programmes d'études ultra chargés: tout voir mais ne rien vraiment connaître) mais clairement l'IA dans les prochaines années va automatiser pas mal de choses et tout ceux qui ont actuellement un poste sans connaissances ultra technique et/ou fonctionnelles/métier vont subir le changement.
De temps en temps je regarde une image en noir et blanc qui date de l'éclatement de la bulle internet "will code for html for food". Dans les années 90 toutes les grandes boites internet de la Silicon Valley (Yahoo, ...) utilisaient des armées de dev html... qui ne connaissaient pas grand chose d'autres. Quand les plateformes sont passés à du code généré (jsp, php, ...) ils ont virés ces milliers de personnes du jour au lendemain. A méditer...
Merci d'avoir partagé ton experience, très intéressant :)
Je ne pense pas que les dev vont être remplacer tout de suite mais a moyen terme je pense que le métier va énormément évoluer.
@@cocadmin En fait le problème principal de l'intelligence artificielle va se poser là :
Pour pouvoir créer un outil de A - Z avec une IA, il va falloir lui décrire à l'exactitude tous les micro-fonctionnalités de l'application pour que ça ait du sens, car n'importe quelle ambiguïté laissera champ libre à l'IA à l'imaginer comme bon lui semble, et décrire à l'exactitude toutes les micro-fonctionnalités ça a un nom : "Programmer".
L'IA ne remplacera jamais des développeurs peu importe le niveau qu'elle atteint, car il faudra toujours pouvoir lui décrire techniquement comment ça doit fonctionner, et même si on atteint des niveaux délirants, il faudra toujours avoir des connaissances de comment ça fonctionne derrière pour pouvoir éviter des pièges évident et autres. Après peut-être que le futur transformera le code en simple prompts en langage naturel, mais il sera toujours long et laborieux de créer des logiciels, même si ça sera sûrement grandement facilité par l'intelligence artificielle.
A mon avis la question à se poser est la suivante: si on veut un modèle de langage qui soit plus performant par un facteur X (notion de performance restant à définir), quel est le facteur Y sur le besoin en infrastructure? Quel est le facteur Z pour la taille des données d'apprentissage ?
Plus précisément, quelle est la relation entre X et (Y, Z) ? Logarithmique ? Linéaire ? Quadratique ? Exponentielle ? Si il faut multiplier par 10 la taille des infrastructures pour augmenter d'un facteur 2 la puissance d'un modèle de langage, on voit vite qu'il y a un problème. De même pour les données d'apprentissage. Le plafond sur lequel l'IA basée sur les modèles de langages va se taper la tête pourrait très bien venir de là.
Salut Cocadmin, j'ai découvert ta chaîne ces jours ci et j'adore !!
Tu as exactement ce qui manque à Chatgpt pour prétendre à l'intelligence, comme la perception du contexte, la vision haute, l'intuition et la mémoire du fil de conversation.
J'en ai d'ailleurs "parlé" avec lui et nous sommes tombés d'accord.
En fait pour prendre une analogie, chatgpt, c'est un peu comme un maçon, il sait assembler des blocs très bien, mais construire une maison, il en est incapable car il n'a pas idée du contexte, il ne comprend pas l'objectif ni l'usage attendu. Bref, il a conscience de ses propres limites, ce qui est déjà bluffant.
On pourrait dire qu'il ressemble à ce qu'on attend des employés d'une entreprise : faire plutôt que comprendre, ce qui amène souvent à faire n'importe quoi...
Néanmoins, la perte de conscience progressive des humains occidentaux devrait permettre bientôt à chatgpt de faire aussi mal qu'un humain occidental 🤔
Le montage est super bien fait 👌🏽
Quelle ascension ! Force à toi 💪🏽
J'ai appris beaucoup vraiment top cette video, une petite demos de ce qu'est le fine-tuning et les models LLM en open source sur huggingface serait fort instructif
en tout cas merci pour cette video passionnante et de qualité
Très bonne vidéo de vulgarisation sur le sujet, avec une présentation et un montage bien soignés. J’aime beaucoup ton approche.
Quelques petites précisions/ remarques :
- 124 millions de paramètres c’est pour la version small de GPT-2. Quand on le mentionne sans préciser on parle plutôt de celui a 1,5 milliards.
- Pour les paramètres de GPT-4, je ferais preuve de prudence au moment de parler chiffres. Même si les sources peuvent paraître crédibles, OpenAI a déjà menti par le passé et on sait pas s’ils utilisent tous les supposés modèles en même temps etc.
- GPT 3/3.5 peuvent avoir jusqu’à 4096 tokens dans leur fenêtre de contexte, et pas 2000. Même si lorsqu’on utilise la web app il y a déjà une partie utilisée par OpenAI avec leur prompt.
Cette vidéo à le niveau de détail parfait pour une introduction technique à l'IA et aux LLM.
Ça souligne les grands concepts mais ça reste concis, et ça pointe vers des resources si on veut reproduire soi-même.
Merci !
Avec Kubernetes, l'autoscaling peut être géré en utilisant la fonctionnalité intégrée d'autoscaling horizontal (Horizontal Pod Autoscaler, HPA). L'HPA permet à Kubernetes d'ajuster automatiquement le nombre de répliques de pods (instances) en fonction de la charge de travail du cluster. Cela permet d'assurer que les applications sont toujours correctement dimensionnées pour faire face aux fluctuations de la demande. Par exemple, si tu gères l'autoscaling avec Kubernetes en utilisant l'Horizontal Pod Autoscaler, voici comment procéder : Tout d'abord, tu dois spécifier les métriques en fonction desquelles Kubernetes doit effectuer l'autoscaling. Il peut s'agir de métriques telles que l'utilisation du CPU, l'utilisation de la mémoire, ou des métriques personnalisées que tu as définies. Ces métriques seront utilisées pour évaluer la charge de travail du cluster. Tu dois spécifier les seuils de déclenchement pour l'autoscaling. Par exemple, tu peux définir un seuil d'utilisation du CPU de 70 %. Lorsque l'utilisation du CPU dépasse ce seuil, Kubernetes déclenchera l'autoscaling pour ajouter de nouvelles répliques de pods. Une fois que tu as configuré les métriques et les seuils, Tu peux créer un objet HPA dans Kubernetes en spécifiant les détails de l'autoscaling, tels que le nombre minimal et maximal de répliques de pods que tu souhaites. Une fois que l'HPA est en place, Kubernetes surveille en permanence les métriques spécifiées pour évaluer la charge de travail. Si les seuils sont atteints ou dépassés, Kubernetes ajustera automatiquement le nombre de répliques de pods en conséquence. L'utilisation de l'Horizontal Pod Autoscaler dans Kubernetes facilite grandement la gestion de l'autoscaling, car il s'occupe automatiquement d'ajuster le nombre de répliques de pods en fonction de la charge de travail, ce qui permet de maintenir les performances et de faire des économies de ressources lorsque la demande diminue. J'espère t'avoir aidé! Ciao!
Thanks! C'est effectivement une bonne solution, est-ce que l'horizontal pod autoscaler peux gerer plusieurs type et/ou tailles d'instances ou ton cluster doit être homogène ?
@@cocadmin L'Horizontal Pod Autoscaler (HPA) dans Kubernetes peut gérer plusieurs types et/ou tailles d'instances au sein d'un cluster. Le HPA est conçu pour ajuster automatiquement le nombre de répliques de tes pods en fonction de l'utilisation des ressources, telle que l'utilisation du CPU ou de la mémoire. Il ne se soucie pas de la taille spécifique de chaque instance, mais plutôt de l'utilisation globale des ressources par les pods. Ainsi, tu peux avoir des nœuds (instances) de différentes tailles dans ton cluster, et le HPA s'adaptera en conséquence en augmentant ou en diminuant le nombre de répliques de tes pods pour répondre aux besoins de charge. Cependant, il est essentiel de garder à l'esprit que certaines apps ou charges de travail peuvent avoir des exigences spécifiques en termes de ressources ou de capacités matérielles, et cela peut influencer ta décision sur la configuration de ton cluster Kubernetes. Tu dois t'assurer que les différents types et tailles d'instances disponibles dans ton cluster peuvent satisfaire les exigences de tes apps pour une mise à l'échelle efficace. PS; Y a pas que des gars qui te suivent comme tu peux voir, alors au début de tes vids, pense aussi à saluer les filles! LOL
Vous êtes incroyable, continuez comme ça !!!
Encore 23 minutes de pur bonheur et d'apprentissage ! Bonne vidéo à tous 🤣
Pareil
🙏🏽
Et d'avoir une sorte de super IA open source et en peer to peer, genre un peu comme les torrent, ou la blockchaine, mais en gros chaque personne telecharge une application sur son PC pour entrainer UNE SEUL MEME IA collective
ça engrengerait trop de données je trouve ça dangereux d'autant centraliser l'information du pdv ethique et sécurité
@@monsieursoze4859 Tu parles detique, ben pas sur que de centraliser sois ethique car une seul et meme entiter choisis de censurer ce quil veut, alors que de mettre 0 censure, naurais pas ce probleme. Pour qui nous nous prenons pour cenuser ou pour dire que quelque chose nest pas acceptable. Les moeurs et coutume de differant pays ou civilisation sont bien differante et certaine chose que nous europeen trouvons pas etique peut letre pour certaine personne ou dans certaine coutume. Censurer par une seul et meme entiter reviens a un systeme de dictature. un systeme ouvert serais plus benefique, et rien emepeche apres davoir des multiple de systeme parallele a ce systeme avec des filtre de censure propre a chaqu'un on peut meme imaginer que certaine pays autoriserais que leurs propre version de ce systeme avec leur censure, mais le noyau doit etre 100% libre, ouvert et sans censure.
Salut, j'ai eu la même idée y'a peu de temps aussi, une chaîne qui m'a aussi beaucoup aidé à comprendre l'IA c'est Machine LearnIA, c'est en français et plutôt bien expliqué
Super boulot et des explications parfaitement claires. Félicitations !
Tant que l'IA ne comprendra pas ce qu'elle fait elle ne remplacera personne.
cette phrase a aucun sens
@@digelQ8 bas si, cela insignue si j'ai bien compris vos propos que celle ci ctrl + c du code et n'évolura pas ne fessant que des ctrl + c bien organiser :). Pas comme nous ou on pourrait en comprenent se qu'on ferait résoudre des problemes de p = np
@@qui3573 Personne n'a dit que c'était pas un bon outil, il faut réfléchir avant de taper sur le clavier.
@@printvoyageur4386 c'est une IA generative, elle ne fait pas que copier du code et bien l'organiser, elle crée à partir d'un modèle statistique, ce qui implique qu'elle est capable de découvrir des relations logiques qui ne sont pas directement inferable dans la base de donné. Le terme clé ici est "directement". Toute forme de création est nécessairement un patchwork de connaissances préexistantes, avec ces IA on approche d'un degré de sophistication de ce patchwork qui ressemble diablement aux capacités d'inférence humaines i.e. Comprendre les émotions d'un texte, faire des maths etc.
Chatgpt est capable de debugger votre code de merde en moins d'une minute et elle ne sait pas ce qu'elle fait? PATHÉTIQUE!
Le montage de la vidéo est nickel !
C'est peu dire, le montage est ouf !
« J’ai pas de table »
Lourd 😎
Incroyable boulot! Tu gères. merci beaucoup !
Excellente vidéo très complète et bien expliquée, bravo!
Tu m as tuer avec JUL 🤣🤣🤣
Le gars a codé JULGPT et a chanté lui meme🤣! Cocadmin président !!!
- Convolution: * Action de convoluter, enroulement ensemble depuis un sommet, en papillote.
* (Mathématiques) Opération qui consiste en la combinaison de deux fonctions.
Sinon nous avons des CIRconvolutions dans le cerveau,
ce qui semble logique dans un contexte où l'on parles de logiciels utilisant des couches de neurones artificiels :)
Après "voluter" et "convoluter" n'est apparemment pas la même chose, vu qu'une "volute" (de fumée par exemple, qui... VOLe) n'est pas en forme de papillote mais de spirale.
mec , j'ai un seul truc a te dire : t'es un monstre de la tech!
Merci pour ces infos. Bonne continuation surtout. À tutti 😊
Masterclass la vidéo, cimer ! D’ailleurs tu fais l’erreur (volontairement ou non) de dire chat-gpt 4, chat gpt 3, etc. mais faut bien différencier le modèle, à savoir GPT dans toutes ses versions (GPT-2, GPT-3.5, etc.) de l’application d’openai qui est chatgpt, et qui est juste plus ou moins une interface avec des appels aux modèles GPT, un peu de front, etc.
Super merci, plein de réponses à mes questions sur les LLM, c'est cool !
dire qu'on a Pi sur le tél désormais et c'est une IA très sympatoche, presque une amie ^^
MERCI ...Abonné, trop fort et trop cool tu es..Bravo pour ton travail et ton partage👌👍
C'est trop top ta vidéo bravo!
Fiouwww, merci pour cette masterclass.
Vrai trop bien les 4 épisodes
pour des dataset de instruction finetuning tu devrais regarder du coté de LLAMA, Alpaca dataset etc, c'est des dataset a base de questions réponses.
Thanks! ils sont diponibles facilement ?
@@cocadmin Alpaca est open source il me semble
il y a yahoo answere et stackoverflow
il faut un peu de traitement pour extraire la réponse en quelques mots mais cette tache en linguistique on sait le faire...
mais il doit y avoir d'autres site qui permet d'avoir des questions/reponses
Il y a Cora qui fait ça.(pas la chaîne de supermarchés!😅)
le grand remplacement bien placé.......Haaaaaaaaaaa...tu m'as tué !!!
Salut, super video, j'ai vraiment aimé. J'espère que tu feras un épisode 2 sur un autre type d'IA. D'ailleurs, ca serait possible d'avoir le Github de ton code stp
Très bonne vidéo continue t’es dans le thème
Bravo pour le boulot @cocadmin pour avoir synthétiser tout ça, c'est l'une des meilleures vidéo que j'ai vu sur youtube
Franchement je suis choqué de ce que tu as codé 🤯BRAVO 🥳
J’adore. J’aimerais ca que pour ta prochaine video tu essaie de cloner une carte opus(carte de transport artm au quebec) pour le mettre sur apple pay
Super vidéo bonne vulgarisation sur un sujet pas simple 👍
enfin une nouvelle vidéo que j'attendais
Sacré boulot, bravo !
Comme d'habitude c'est génial continue 👍
Très bonne vidéo frérot, excellente vulga 👌
Enorme video!!!
JUL JUL JUL :p tu me régale j'adore ta chaine :)
trop intéressant ça donne envie de se faire son petit gpt maison
yep, l'ideal c' est de prendre un gros model comme llama et fine tune sur ses besoins exactes :)
@@cocadmin oui mais avant ça va falloir se plonger un peu dans le truc pour pas finir par juste copier un git lol
Bravo pour la vidéo. Franchement
Excellente vidéo! Merci
chez toi meme la pub est intéressante. si tu veux en faire plusieurs sur le sujet, je suis preneur.
Haha thanks 🙏🏼
Est-ce que t'utilises kubernetes ?
L'intelligence artificielle est un outil, et le métier de développeur évoluera avec elle, mais non sans les développeurs.
Le Grand Remplacemebt m'a tué 🤣🤣
L'intérêt le plus grand de l'IA ça sera surement pour optimiser le code informatique, que cela soit en terme d'apprentissage, de vérification, et d'optimisation (propositions de solutions alternatives avec leurs avantages et inconvénients).
On peut même imaginer des langages informatiques qui soient créés par de l'IA, afin d'empêcher toute faille de sécurité, rapide et économe en mémoire.
Dans tous les cas c'est la capacité à collaborer avec les IA qui fera la différence. Je ne crois pas à des métiers totalement remplacés par les IA ou des métiers qui se passent totalement des IA...
@@Ctrl_Alt_Sup Absolument. L'idéal ce n'est pas la dépendance et le remplacement de l'humain par l'IA, mais la coopération entre l'humain et l'IA (avec la capacité de l'utiliser en pilotage automatique pour certaines tâches à certains moments).
Super pédagogie !! Merci boss
🙏🏼
Ah bah tiens elle tombe très bien cette vidéo, j'ai vu que les deux premières minutes et je me pose exactement les mêmes questions. Je regarde la suite.
Salut merci pour ta vidéo instructif ! Je me demandais si les ordinateur quantique ne sera pas (plutard) la solution pour les architecture dédié IA ?
c'est pas impossible
@@cocadmin Pas possible aujourd'hui ou pas possible du tout ? lol je dis sa parce que en physique quantique les matériaux peuvent changer et j'ai vue que aujourd'hui on peut stocker des données dans des molécules qui ont des propriétés quantique.
« Tiny Jul » 😂 encore une master class !!! 😉
moi jai créé un chatbot complet en 1 minute avec chaatgpt lui meme. je lui est demander de généré un code source python utilisan la bhibliothèque PYtorch et un module poure créé un transformer qui peut répondre a tout mes question mais c'est rudimentaire.
T'as raison man, de Shakespeare à Jul ...il n'y a qu'un ..tunnel? Et .. quelques siècles ?
Quelle "TroLL" de données d'entraînement semblerais je penser ..sans dépenser me diras tu? Serait ce de la sorte possible, alors..qu'afin d'aiguiser les mélodies de la starnaque de demain sur une base de pink floyd, l'on puisse a l'occasion (entre 2 shorts) , créer une musique novatrice incontournable et "bankable", sur des LLM de la musique de Brawl Stars? On se le demande...ou l'on demande a l'iA ?! LoL.. tu m'as bien fait rire, toujours intéressant, merci 👍
une question: quel retour economique as tu eu de cettte experience ?celle de coder un gpt2
Je voulais savoir après avoir entraîner le modèle il faut toujours l'heberger? Ou on peut l'utiliser localement ???
Et je m'abonne continuez dans cette voie Fréro
je l'utilisais en local, c'est un peu plus lent mais ca passe
Merci ;-)
Hey pas mal le montage adj
Une IA ne pourra jamais nous remplacer sur un projet custom, qui mélange plusieurs langages, dont le métier ignore lui même parfois ce qu’il veut et où le projet contient des 100ene voir milliers de fichiers dans des langages pas forcément typé et simple à retracer.
Puis même si elle était capable de faire des choses aussi complexe il faudrait quelqu’un pour la diriger, écrire les prompts, vérifier le code, les possibles régression, les mauvaises interprétations, etc.
Même avec des spécification ultra détaillée il n’est pas rare de devoir faire appel au product owner et de demander plus d’info au métier pour combler un manque d’info cruciale ou imprévue en cours de route.
Bref ça fait beaucoup à maîtriser pour pouvoir nous remplacer et la liste pourrait être énormément plus longues sur des sujets tout aussi complexe et pas forcément lié à l’écriture de code pure (QA, code review, déploiements, etc.).
Allez, demain, "l'IA" nous explique la physique quantique ? "vivement demain" ! CQFD 2°
Est-ce que ton modèle d'I.A. est disponible en téléchargement ?
C'est pour mon ami geekeur ^^
jpeu pas upload le model (github accepte pas les fichier de + de 100mb )mais j'ai mis les dataset ici github.com/ttwthomas/nanogpt
@@cocadminnormalement l’architecture nanoGPT est complètement compatible GPT-2 donc c’est peut-être possible de publier les poids sur Huggingface
As tu essayé de jeter un oeil sur llama2 qui est open source et qui peut tourner sur ton laptop ?
Merci Cast Ai ❤️❤️❤️
@8'13 Salut, video trees sympa! cette methode dont tu dois parler, c'est pas le Transfer Learning? Tu peux recuperer les parametres d'un modele et tu les entrainent sur tes propres donnees...
oui c'est similaire sauf que pour le fine tuning tu réentraine tous les layer du model pour ta nouvelle tache, pas juste les layer les plus haut.
Excellente la vidéo 👍👍👍👍 Merci, toujours un plaisir de regarder vos vidéos.
Sur quelle plateforme tu a louer la machine avec les gpu a 20000 balle
j'ai utiliser vast.ai c'est bcp , moins cher que aws ou azure. beaucoup plus de dispo aussi.
Est ce qu'une RTX3080 (non TI) est suffisante pour entrainer un modèle ?
j'ai entrainé pendant 1jour sur 8x 4090 dons 1 3080 c'est léger. Mais pour du finetuning ca suffit largement.
@@cocadmin Ok merci 👌
Je n’imagine même pas le taf que ça a dû te demander de monter cette vidéo😂
En fait je suis super contente que mon cerveau puisse générer texte, image, tout simplement quoi, çà s'appelle intelligence tout court !
Bien vu. Ça me permet de mieux comprendre le mythe ! Merci à toi.
tu regale !!!
1:41 je ne suis pas expert mais il me semble que la traduction n'est pas très exact. Tu m'a tué 😂😂😂😂😂
Penses-tu qu’avec le fine-tuning + tweak de température, les questions/réponses auraient été plus pertinentes ?
une des etape dont j'ai pas parlé est une étape de reinforcement learning apres le fine tunning. Ou en gros tu generes plusieurs reponses et tu demande a un humain de choisir la meilleure et tu pousser ton model a donner des meilleures reponses.
Très bonne video
Bravo et merci
Merci
Ha ha ha extra ton intro 🤣
Perso.. Yann Lecun, après avoir suivis quelques conf, j'ai capté le raisonnement qu'il a eu et comment on l'applique techniquement.
Sinon, je me tate aussi pour installer une petite IA, toutes faites, pompé sur Github, et essayer de développer.. .. .. une sorte d'API ou je pourrais balancer la sortie d'applis standart, pour améliorer les résultats ou augmenter le nombre de fonctions, filtres, etc ..
( J'essaie toujours de conceptualiser le "truc" )
Mais c'est clair, cette techno, ca fait vriller ..🎉😁
très cool tout ca!
C’est super chatgpt
Excellente vidéo de vulgarisation.
Cependant, tu ne peux pas dire que le modèle Transformer est basé que sur 300 lignes de Python. Parce que je suppose que tu fait référence à la structure basé sur du pyTorch.
Bonjour, j’aurais aimé savoir sur quelle interface tu codes du python ( dans cette vidéo )
Vim/tmux, vscode ou Google collab
TinyJul est dispo quelque part sur un repo git ? J'aimerais bien l'utiliser pour faire des test ça a l'air dingo mdrr
Excellente vulgarisation!!
T'es incroyable 😮
Rip le premier il qui est pas allé à la plage :’(
force au premier il
@@cocadmin « il » va finir en dépression
@@ri1_ il en peut plus
je suis dev et si l'IA sait me remplacer je m'inquiète. Non pas parce que je vais pointer à pôle emploi, mais parce que ça signifie qu'elle sera autonome et pourra alors créer une contre société et nous défoncer !
Et pour en revenir à la vidéo, beau travail ! Je vais checker tes autres vidéos
Du pureeeeee bonheur
Super la vidéo mais je veux plus de vidéo avec du html dedans, je veux te voir galerer c'est trop trop drôle
Le tiny jul ça m'a tué 🤣
Hola rien qu'au titre de la vidéo je sens qu'on va bien samuser. Au fait, tu peux me dire ta config PC stp ?
5800x rtx2070 32gb rien d'incroyable :)
@@cocadmin serait temps d'acheter une 3070 (y en a des bonnes pour pas cher voir des ti, ou si t'as l'argent une 4070 à 600 euros) 😅. En tous cas solide
Mdrrr le relevé de facture AWS
Meilleur video 2023 hahaha !