Cette vidéo fait partie d'une playlist intitulée "Les bases des réseaux de Neurones" qui est vraiment remarquable. On commence par la différentiation automatique avec un codage "from scratch", certes sans en connaître les aboutissants et puis, peu à peu, on se rapproche des réseaux, du processus d'apprentissage (fondamentalement une descente de gradient s'appuyant sur les gradients calculés par la différenciation automatique). Tout ce que j'aime en pédagogie: quasiment aucun prérequis nécessaires, on fait soi-même du code avant d'utiliser la librairie hyper-puissante (qui cache tout), progressivité dans la compréhension, introduction des notations et du vocabulaire de la communauté ... Bravo et merci !!
Si on prend pour fonction d'activation la fonction identité (f(x)=x), oui c'est bien ça, mais justement l'interêt c'est de pouvoir faire plus complexe que juste du linéaire, donc on prend des fonctions d'activations non linéaires
Non, A^[l] est de taille (n[l], m) avec m le nombre d'exemples, puisqu'elle a la même taille que Z^[l] qui est obtenu avec Z^[l] = W^[l]*A[l-1] + b^[l]. Par exemple si tu regardes A^[0] = X c'est bien de taille (n, m) où n vaut n^[0]. (à noter qu'il existe une autre convention où l'on place la dimension du batch m en premier)
@@alexandretl merci pour votre réponse, je voulais dire A^[l] contient n[l-1] lignes mais oui en effet je me suis bien trompé c’est n[l] lignes et m colonnes L’ensemble des vidéos théoriques sont vraiment de super qualité. Ici il s’agit du forwardpass pour le réseau de neurones. Où puis je trouver le backpass? Merci
@@lfbbtin7436 Merci bien ! Dans la playlist "Les bases des réseaux de neurones" sur ma chaîne (notamment la vidéo Coder backpropagation en Python pour le côté pratique du backward pass, et les vidéos sur les graphes de calcul pour le côté un peu plus théorique)
![[Deepmath] 5.1. Un neurone](/img/n.gif)
Cette vidéo fait partie d'une playlist intitulée "Les bases des réseaux de Neurones" qui est vraiment remarquable. On commence par la différentiation automatique avec un codage "from scratch", certes sans en connaître les aboutissants et puis, peu à peu, on se rapproche des réseaux, du processus d'apprentissage (fondamentalement une descente de gradient s'appuyant sur les gradients calculés par la différenciation automatique). Tout ce que j'aime en pédagogie: quasiment aucun prérequis nécessaires, on fait soi-même du code avant d'utiliser la librairie hyper-puissante (qui cache tout), progressivité dans la compréhension, introduction des notations et du vocabulaire de la communauté ... Bravo et merci !!
Merci beaucoup pour votre commentaire! Content que la playlist vous serve
Merci beaucoup pour cette vidéo de vectorisation. Ça aide
Très bien expliqué. Ça permet de voir l'application de l’algèbre linéaire.
Merci! Dans le même style et qui parle d'algèbre liénaire, il y a aussi ma vidéo "Qu'est-ce qu'il se passe dans un réseau de neurones ?"
Y a t'il une méthode vectoriel pour faire la rétro propagation du gradient pour effectuer l'apprentissage ?
Bonjour comment se nomme le logiciel de montage pour vos vidéos ? Animation etc
Je fais les animations avec Manim (librairie Python) et le montage est fait sur DaVinci Resolve
Est-ce qu’on peut dire qu’un réseau de neurones n’est ni plus ni moins qu’un composé de plusieurs fonctions lineaire ?
Si on prend pour fonction d'activation la fonction identité (f(x)=x), oui c'est bien ça, mais justement l'interêt c'est de pouvoir faire plus complexe que juste du linéaire, donc on prend des fonctions d'activations non linéaires
* A^[l] contient n[l-1] lignes
Non, A^[l] est de taille (n[l], m) avec m le nombre d'exemples, puisqu'elle a la même taille que Z^[l] qui est obtenu avec Z^[l] = W^[l]*A[l-1] + b^[l].
Par exemple si tu regardes A^[0] = X c'est bien de taille (n, m) où n vaut n^[0].
(à noter qu'il existe une autre convention où l'on place la dimension du batch m en premier)
@@alexandretl merci pour votre réponse, je voulais dire
A^[l] contient n[l-1] lignes
mais oui en effet je me suis bien trompé c’est n[l] lignes et m colonnes
L’ensemble des vidéos théoriques sont vraiment de super qualité. Ici il s’agit du forwardpass pour le réseau de neurones. Où puis je trouver le backpass? Merci
@@lfbbtin7436 Merci bien ! Dans la playlist "Les bases des réseaux de neurones" sur ma chaîne (notamment la vidéo Coder backpropagation en Python pour le côté pratique du backward pass, et les vidéos sur les graphes de calcul pour le côté un peu plus théorique)
English please
Math is the universal language
@@alexandretl at least captions , really liked your animations
@@yashhhhhhhhh-d8v thanks! actually i'm planning on opening an english channel
@@alexandretl thank u