27:29 用链式求导确实是很自然的。因为神经网络的 cost function 本身就是一个复杂一点的函数而已,反向传播算法的本质也就是对neural_network_cost_function求θ的偏导,其实也没什么特别的,但可能是因为这个求导过程实在是太繁琐复杂了,导致很多不太会求导的人不理解,而且求导必须从输出层“反向”计算到输入层,所以就有了个名字“反向传播算法” 28:13 The Feynman Lectures on Physics Volume II - mainly electromagnetism and matter 讲了gradient, divergence and curl. 我本科的时候也没搞懂这些概念,也是看了费曼的书才懂的。。 29:07 Vectorization(Array programming)在机器学习,机器人学等很多学科都是基本操作了,但这也是上了本科的课程才可以接触到,之前的初高中的问题标量就可以解决了,小学初中高中12年都只学了一些简单的没有什么价值的东西😥 29:36 神经网络里面的符号系统我感觉Andrew Ng的machine learning讲的好一些,他用θ来表示了w+b少写了了一个加号和一个字母,Robot Modeling and Control by Mark W这本书里面讲机器人前向运动学的时候也是用齐次矩阵来表示一个rotation matrix + linear matrix,都增加了矩阵的维度方便了我们理解但是也多了一些计算 43:58 吐槽的确实有道理,我们的教材没有定义符全是等号确实难以理解。不过编程语言里的“=”号确实相当于定义,而“==”符号才相当于教材里面的“=”,很多时候我机器学习的数学公式没看懂,但是用python或matlab写的代码就可以看懂!🤣 47:32 里面关于事实与解释和观点感觉讲的好。对与一个事实,不同的人(或者不同的系统)回有不同的观点看法解释,这是不同的解释很可能是等价的没有对与错,好与不好的区别,关键是这些解释能不能符合事实。而且我们的自然语言(无论是英语还是汉语日语)本身就是很模糊的,本身就没有严格的定义与解释,所以用自然语言对事实做出的解释不同也是很正常的。
说来惭愧,从业ml已经快6,7年了,看了王木头的视频才发现自己还有很多基础的东西都是囫囵吞枣。不得不说最大的收获就是木头这种学习方法,让我不断反思自己的学习过程
27:29 用链式求导确实是很自然的。因为神经网络的 cost function 本身就是一个复杂一点的函数而已,反向传播算法的本质也就是对neural_network_cost_function求θ的偏导,其实也没什么特别的,但可能是因为这个求导过程实在是太繁琐复杂了,导致很多不太会求导的人不理解,而且求导必须从输出层“反向”计算到输入层,所以就有了个名字“反向传播算法”
28:13 The Feynman Lectures on Physics Volume II - mainly electromagnetism and matter
讲了gradient, divergence and curl. 我本科的时候也没搞懂这些概念,也是看了费曼的书才懂的。。
29:07 Vectorization(Array programming)在机器学习,机器人学等很多学科都是基本操作了,但这也是上了本科的课程才可以接触到,之前的初高中的问题标量就可以解决了,小学初中高中12年都只学了一些简单的没有什么价值的东西😥
29:36 神经网络里面的符号系统我感觉Andrew Ng的machine learning讲的好一些,他用θ来表示了w+b少写了了一个加号和一个字母,Robot Modeling and Control by Mark W这本书里面讲机器人前向运动学的时候也是用齐次矩阵来表示一个rotation matrix + linear matrix,都增加了矩阵的维度方便了我们理解但是也多了一些计算
43:58 吐槽的确实有道理,我们的教材没有定义符全是等号确实难以理解。不过编程语言里的“=”号确实相当于定义,而“==”符号才相当于教材里面的“=”,很多时候我机器学习的数学公式没看懂,但是用python或matlab写的代码就可以看懂!🤣
47:32 里面关于事实与解释和观点感觉讲的好。对与一个事实,不同的人(或者不同的系统)回有不同的观点看法解释,这是不同的解释很可能是等价的没有对与错,好与不好的区别,关键是这些解释能不能符合事实。而且我们的自然语言(无论是英语还是汉语日语)本身就是很模糊的,本身就没有严格的定义与解释,所以用自然语言对事实做出的解释不同也是很正常的。
最后说的真的是点睛之笔!通过学习神经网络, 来结构我们的学习的过程,真的是高
每个人学习的时候应该都有一个小口诀,包括书籍的作者。候很少有人会讲出这些小口诀,导致了学习者相当的学习困难。能自悟出小口诀的,可以彼好的自洽记忆,不能的人往往很快就会忘记。这个小口诀我觉得就是融会贯通的一种表现。感谢up主
感谢。你的思维方法和我的很吻合,所以听起来很顺,也很愉快
講的很棒,雖然還不太理解,可能要多看幾次。看的出很用心地做簡報及研究出自己的理論。
謝謝木頭的分享!!,網路上很多資源,但是就你的我最好理解,在看的同時也覺得木頭你的理解能力真的很好,講解的很流暢。
虽然只看了这么一个视频,但是觉得对于事实和解释的区别是很支持的。在很多时候,尤其是一个领域刚入门的时候,网络上很多人的文章对于一个概念的解释只关注准确度,而不去关注读者是否能够很好的理解,在我看来,再准确的解释,如果不能让读者很好的理解,都是没有意义的,如果你想通过解释的准确性来自证自己是多么的NB,真的大可不必,恰恰相反,用最容易让人理解的方式解释清楚一个概念才是真NB。
但往往因为容易理解所以不严谨,于是就会产生歧义,你觉得理解了其实是错的。就像这个博主花了几个视频讲损失函数,但他怼损失函数的概念从开始就理解错了,原因就是他没有去看严谨的定义,而且找了一堆科普文章试图理解,其实并没有理解
梯度下降法,讲解得相当通俗易懂!
很棒的表達方式,比怕錯以純數學照本宣科來說,執得鼓勵
我也是,需要多看。非常感谢。我也会推介给我小孩。
@up主,三维图像咋搞的?Mathematica?Matlab?配合三维图形动态解释看着好舒服。求工具介绍
真的很不錯~
万年潜水员也要上来冒个泡点赞支持一下!讲的太好了!
如你所說的不嚴謹, 但是卻可以快速幫助我理解, 真的感謝你
谢谢提供的脚手架,对我这个深度学习小白来说久旱如甘霖
太喜欢您的授课方式了
麦克斯韦方程,第一个式子,电场等于,电荷的空间密度除以一个常量。
我上本科学多元微积分的时候,老师一开始就会强调梯度是一个向量。难道国内和美国教的方法不一样?
建议把你所有视频脚本整理出版,求文稿版!
搞出来让你做ai视频吗?😃😃😃😃
@@tommyjarvis2269 作者出版可以赚钱,我花钱买他的知识产权产品,我学会了/学不会,怎么用是我自己的事情
梯度就是可以作为向量理解的,吉尔伯特老爷子的系列课程里有过类似的讲解
良心博主
看了几遍,终于看懂了些
好用心的视频
這一系列的影片做得非常精彩,但是這一集的符號特別多。不知道是否有辦法製造微小且具體的範例
這集中間的數學還是有點難吃進去⋯ 理解倒是不難, 就是一堆上下標看著頭疼哈哈
这一集相比交叉熵那一集有点难懂,可能是概念比较多,或者说计划更复杂,或者是中间对概念的解释有些快进。如果本集观众只具有交叉熵那一集视频的基础而没有额外的基础,可能看不懂本集。小小建议~
计划=计算
你这个片头,玫瑰铜铃眼吗
看了不下五遍。总于明白了,我的理解是,在这里“梯度公式”起到了一个“拆出分量”的作用。 这个点困扰了我很久,以前一直不知道为啥这里要一定要出现梯度公式。 本质,和“切西瓜”这个方法是一样的,就是相当于“最棒的切西瓜“方式。 😂
太感谢了
太会讲课了!!!
加油,梯度下降终于见面
影片裡頭提到的「學習率」是什麼東西? 似乎沒給出定義,也沒有更深入地解釋,非常可惜。
梯度变换的快慢
@@hbj418 厲害!原來,了解,感謝
主要是理解好偏导的概念
内容很好,就是有点啰嗦 😁
这也太复杂了
好耶
没讲透
实话实说。
你以前的视频都非常好。
但从这一期开始,所谓的梯度下降法,开始暴露出你对于机器学习的哲学和抽象级别的理解的欠缺。这导致了这一期讲解的内容开始不知所云。
你原来的机器学习的开场思路是非常正确的。
其实你应该顺着傅立叶变换的思路展开学习和讲解,你你会发现所谓的深度学习 包括大语言的transformer等等都异常的简单和自然。理解和实际操作实现,不是一件困难的事。
求问能不能给你一些你能获得这个学习思路的材料?(文本,or 视频啥的)
0.75倍感觉不错
逐渐听不懂
三连!!!