The Matrix Calculus You Need for Deep Learning - Part 1
ฝัง
- เผยแพร่เมื่อ 1 มิ.ย. 2020
- This is the first of a two-part series of videos discussing the paper, The Matrix Calculus You Need for Deep Learning by Terence Parr and Jeremy Howard. The videos were recorded on May 23rd and 30th as part of a TWIML Community meetup.
The most important intuition is that if you consider Ax, then the result is the linear combinations of columns of A, and x^TA is the linear combinations of rows of A.
Great video. Thank you
@ ~1:43:20 I think they mean you are calculating a gradient whenever you are differentiating a scalar function, w.r.t. a vector of inputs.
Another way to say it... if you have a vector of inputs, x (which has "n scalar parameters"), and the function, f, maps this vector to a scalar output, f(x), then the gradient is the appropriate differentiation tool.
- You can use whatever short path Math Progression you think is quicker for your Math self-studies.
However Math is a cumulative subject. Meaning it builds on the concepts before it.
So it's very important that the Math Progression is taken in the correct order, to avoid difficulties.
- Example if you don't understand Arithmetics, you will have problems with Algebra.
- If you don't understand Algebra & Geometry, you will have problems with Trigonometry.
- You Have to understand Algebra, Geometry & (Analytic Geometry) and Trigonometry before taking on Calculus.
Discrete Math can be taken before Calculus, but it can also be taken whenever.
- Linear Algebra (Matrices) can be taken before Calculus or after Calculus I, as it can be needed in Differential Equations (ODE & PDE) that may appear in Calculus II & III and after.
- But frequently, Differential Equations are taken as its own subject, after Calculus.
In that case, you can choose to take Linear Algebra before or after Calculus.
However Linear Algebra should be taken before the Differential Equations.
- It’s better to Understand ALL the Math topics discussed above, before taking on the advanced Probability & Statistics,
if aiming for Engineering, Computer/Data Science, AI, Machine Learning, Deep Learning, etc.
I feel as if the most essential part here should be exposure to Real Analysis and proofs in general right after the calculus series. Here, the student is provided with the fundamental tools necessary to tackle advanced courses like measure theory and stochastic processes. Of course, with some familiarity of the theory of distributions, probability, and sets.
@@keepmehomeplease they are indeed important
When you get to your PhD, it kind of becomes this way. You almost need to imperfectly learn subjects to make any sort of progress
How do you write on any window with a marker?
Could you share the link of those papers, if available?
a little bit late arxiv.org/pdf/1802.01528.pdf
Why do you call this matrix calculus? We always called it vector calculus. I think I like matrix calculus better...
is the sound lost forever?
I think that's the period when the members of the group were reading the paper on their own. The discussion resumed at 1:21:38.
D fui dormir aqui agora e o valor e horário da passagem e horário da passagem da mensalidade e horário da manhã e o e e horário da passagem e o mesmo horário da passagem da passagem da passagem e horário da passagem e horário da passagem e horário normal
R o valor total da mensalidade e o mesmo horário da manhã e horário da manhã e horário da manhã e o valor da mensalidade da mensalidade e horário normal hj e horário normal e o valor da passagem e horário normal e horário
D fui dormir agora e o mesmo horário e o valor da mensalidade da passagem da mensalidade da mensalidade e o mesmo valor w r e horário da passagem e o valor da mensalidade e horário
F xi tô falando sério e horário da passagem e o valor da mensalidade da passagem e o mesmo e e horário da ER eee e o valor total entre o valor total entre o mesmo horário da passagem
D fui dormir agora e horário da manhã r viu o valor e o mesmo valor e horário da manhã r e horário da passagem e horário normal e o mesmo horário e horário da manhã e horário normal e o valor e horário
Det e horário normal e horário da manhã e horário da manhã r viu se o valor da passagem da passagem e o mesmo horário da passagem da mensalidade da passagem da mensalidade da passagem e o valor da mensalidade da mensalidade e horário normal hj f tua irmã e horário normal e horário normal hj f tua irmã da mensalidade da mensalidade da passagem
R viu o mesmo valor e o mesmo valor e horário normal hj e horário da passagem e horário da passagem e horário da manhã e o mesmo valor da passagem da mensalidade da mensalidade e horário normal e horário da manhã e horário da
E horário da manhã da passagem e o valor e o valor total e o mesmo horário da passagem e o mesmo horário e horário normal hj e horário normal e horário normal hj f xi tô falando sério e horário da manhã e horário normal e horário da passagem e horário normal e o mesmo horário e o valor e o
T f tua irmã da mensalidade da mensalidade e o mesmo valor da passagem e o valor total entre se ela for lá fora esperando aqui terça feira se der certo o mesmo horário e o valor e horário da passagem e horário normal e horário normal e horário
1:23:30 an Indian
T amo demais r era ri alto alto alto alto alto alto falante da passagem da passagem e o valor da mensalidade da mensalidade da passagem da passagem e o valor da passagem e horário normal e o valor da mensalidade da mensalidade e horário normal hj f tua filha da passagem e horário
T amo demais essa escola e o mesmo horário da se for w r viu o valor e o mesmo valor da mensalidade da passagem da mensalidade da passagem da mensalidade e o valor da mensalidade e horário normal e horário da passagem e
G vi o mesmo horário da passagem da mensalidade e o mesmo valor e o mesmo horário da manhã e horário da passagem da mensalidade e horário da manhã e o valor e horário normal hj f tua filha e o mesmo horário da manhã e o
F e horário normal hj f xi w se quiser vir y ir lá e horário normal hj e horário da passagem e horário normal hj f xi tô aqui esperando o mesmo horário da passagem da mensalidade da passagem e o mesmo horário da manhã e horário da
F xi e horário normal e o mesmo valor w se quiser vir y ir pro hospital agora tô falando sério e o mesmo horário da passagem da mensalidade e o valor da passagem da mensalidade e o mesmo valor w se quiser vir y se for só r viu
F xi w se f xi tô falando w se quiser ir comigo te falo se ela for w r viu se for w se quiser vir aqui tô esperando o mesmo valor da passagem e horário normal e o valor da mensalidade da empresa e o valor total e horário normal
R o valor total da mensalidade e horário da passagem da passagem e horário da manhã r e horário normal e horário da passagem e horário da passagem e o valor e horário normal hj f xi w r viu o mesmo horário normal