如何理解“梯度下降法”?什么是“反向传播”?通过一个视频,一步一步全部搞明白

แชร์
ฝัง
  • เผยแพร่เมื่อ 21 ธ.ค. 2024

ความคิดเห็น • 49

  • @amyma2204
    @amyma2204 ปีที่แล้ว +5

    说来惭愧,从业ml已经快6,7年了,看了王木头的视频才发现自己还有很多基础的东西都是囫囵吞枣。不得不说最大的收获就是木头这种学习方法,让我不断反思自己的学习过程

  • @ixy6864
    @ixy6864 2 ปีที่แล้ว +17

    27:29 用链式求导确实是很自然的。因为神经网络的 cost function 本身就是一个复杂一点的函数而已,反向传播算法的本质也就是对neural_network_cost_function求θ的偏导,其实也没什么特别的,但可能是因为这个求导过程实在是太繁琐复杂了,导致很多不太会求导的人不理解,而且求导必须从输出层“反向”计算到输入层,所以就有了个名字“反向传播算法”
    28:13 The Feynman Lectures on Physics Volume II - mainly electromagnetism and matter
    讲了gradient, divergence and curl. 我本科的时候也没搞懂这些概念,也是看了费曼的书才懂的。。
    29:07 Vectorization(Array programming)在机器学习,机器人学等很多学科都是基本操作了,但这也是上了本科的课程才可以接触到,之前的初高中的问题标量就可以解决了,小学初中高中12年都只学了一些简单的没有什么价值的东西😥
    29:36 神经网络里面的符号系统我感觉Andrew Ng的machine learning讲的好一些,他用θ来表示了w+b少写了了一个加号和一个字母,Robot Modeling and Control by Mark W这本书里面讲机器人前向运动学的时候也是用齐次矩阵来表示一个rotation matrix + linear matrix,都增加了矩阵的维度方便了我们理解但是也多了一些计算
    43:58 吐槽的确实有道理,我们的教材没有定义符全是等号确实难以理解。不过编程语言里的“=”号确实相当于定义,而“==”符号才相当于教材里面的“=”,很多时候我机器学习的数学公式没看懂,但是用python或matlab写的代码就可以看懂!🤣
    47:32 里面关于事实与解释和观点感觉讲的好。对与一个事实,不同的人(或者不同的系统)回有不同的观点看法解释,这是不同的解释很可能是等价的没有对与错,好与不好的区别,关键是这些解释能不能符合事实。而且我们的自然语言(无论是英语还是汉语日语)本身就是很模糊的,本身就没有严格的定义与解释,所以用自然语言对事实做出的解释不同也是很正常的。

  • @maggiekay1
    @maggiekay1 2 ปีที่แล้ว +5

    最后说的真的是点睛之笔!通过学习神经网络, 来结构我们的学习的过程,真的是高

  • @Most-qn4fc
    @Most-qn4fc 2 ปีที่แล้ว +2

    每个人学习的时候应该都有一个小口诀,包括书籍的作者。候很少有人会讲出这些小口诀,导致了学习者相当的学习困难。能自悟出小口诀的,可以彼好的自洽记忆,不能的人往往很快就会忘记。这个小口诀我觉得就是融会贯通的一种表现。感谢up主

  • @rosewei6072
    @rosewei6072 ปีที่แล้ว +1

    感谢。你的思维方法和我的很吻合,所以听起来很顺,也很愉快

  • @趙錫亮
    @趙錫亮 2 ปีที่แล้ว +2

    講的很棒,雖然還不太理解,可能要多看幾次。看的出很用心地做簡報及研究出自己的理論。

  • @opgushaaa8603
    @opgushaaa8603 2 ปีที่แล้ว +5

    謝謝木頭的分享!!,網路上很多資源,但是就你的我最好理解,在看的同時也覺得木頭你的理解能力真的很好,講解的很流暢。

  • @shijundeng9543
    @shijundeng9543 2 ปีที่แล้ว +1

    虽然只看了这么一个视频,但是觉得对于事实和解释的区别是很支持的。在很多时候,尤其是一个领域刚入门的时候,网络上很多人的文章对于一个概念的解释只关注准确度,而不去关注读者是否能够很好的理解,在我看来,再准确的解释,如果不能让读者很好的理解,都是没有意义的,如果你想通过解释的准确性来自证自己是多么的NB,真的大可不必,恰恰相反,用最容易让人理解的方式解释清楚一个概念才是真NB。

    • @KeevnWang
      @KeevnWang 2 ปีที่แล้ว

      但往往因为容易理解所以不严谨,于是就会产生歧义,你觉得理解了其实是错的。就像这个博主花了几个视频讲损失函数,但他怼损失函数的概念从开始就理解错了,原因就是他没有去看严谨的定义,而且找了一堆科普文章试图理解,其实并没有理解

  • @yoyooversea
    @yoyooversea 5 หลายเดือนก่อน

    梯度下降法,讲解得相当通俗易懂!

  • @kenlee5374
    @kenlee5374 6 หลายเดือนก่อน

    很棒的表達方式,比怕錯以純數學照本宣科來說,執得鼓勵

  • @user-TweetyBird
    @user-TweetyBird 9 หลายเดือนก่อน

    我也是,需要多看。非常感谢。我也会推介给我小孩。

  • @徐烨-t5g
    @徐烨-t5g 8 หลายเดือนก่อน

    @up主,三维图像咋搞的?Mathematica?Matlab?配合三维图形动态解释看着好舒服。求工具介绍

  • @JoJoAllen
    @JoJoAllen 3 ปีที่แล้ว +3

    真的很不錯~

  • @maxxxx9569
    @maxxxx9569 2 ปีที่แล้ว

    万年潜水员也要上来冒个泡点赞支持一下!讲的太好了!

  • @will19181
    @will19181 8 หลายเดือนก่อน

    如你所說的不嚴謹, 但是卻可以快速幫助我理解, 真的感謝你

  • @Xyzpepper
    @Xyzpepper 2 ปีที่แล้ว

    谢谢提供的脚手架,对我这个深度学习小白来说久旱如甘霖

  • @glorialiu7979
    @glorialiu7979 2 ปีที่แล้ว

    太喜欢您的授课方式了

  • @周玉林-m1l
    @周玉林-m1l 3 หลายเดือนก่อน

    麦克斯韦方程,第一个式子,电场等于,电荷的空间密度除以一个常量。

  • @Charles-rn3ke
    @Charles-rn3ke 9 หลายเดือนก่อน

    我上本科学多元微积分的时候,老师一开始就会强调梯度是一个向量。难道国内和美国教的方法不一样?

  • @karsten8995
    @karsten8995 3 ปีที่แล้ว +4

    建议把你所有视频脚本整理出版,求文稿版!

    • @tommyjarvis2269
      @tommyjarvis2269 ปีที่แล้ว +1

      搞出来让你做ai视频吗?😃😃😃😃

    • @karsten8995
      @karsten8995 ปีที่แล้ว

      @@tommyjarvis2269 作者出版可以赚钱,我花钱买他的知识产权产品,我学会了/学不会,怎么用是我自己的事情

  • @揽月楼中店小二
    @揽月楼中店小二 8 หลายเดือนก่อน

    梯度就是可以作为向量理解的,吉尔伯特老爷子的系列课程里有过类似的讲解

  • @hongkunshi4684
    @hongkunshi4684 2 ปีที่แล้ว +1

    良心博主

  • @jornchen2575
    @jornchen2575 8 หลายเดือนก่อน

    看了几遍,终于看懂了些

  • @SpL-mu5zu
    @SpL-mu5zu 2 ปีที่แล้ว

    好用心的视频

  • @ztc106
    @ztc106 3 ปีที่แล้ว

    這一系列的影片做得非常精彩,但是這一集的符號特別多。不知道是否有辦法製造微小且具體的範例

  • @woodywan4010
    @woodywan4010 2 ปีที่แล้ว +1

    這集中間的數學還是有點難吃進去⋯ 理解倒是不難, 就是一堆上下標看著頭疼哈哈

  • @Most-qn4fc
    @Most-qn4fc 2 ปีที่แล้ว +1

    这一集相比交叉熵那一集有点难懂,可能是概念比较多,或者说计划更复杂,或者是中间对概念的解释有些快进。如果本集观众只具有交叉熵那一集视频的基础而没有额外的基础,可能看不懂本集。小小建议~

    • @Most-qn4fc
      @Most-qn4fc 2 ปีที่แล้ว

      计划=计算

  • @缠论解大盘
    @缠论解大盘 2 ปีที่แล้ว

    你这个片头,玫瑰铜铃眼吗

  • @janewu2022
    @janewu2022 4 หลายเดือนก่อน

    看了不下五遍。总于明白了,我的理解是,在这里“梯度公式”起到了一个“拆出分量”的作用。 这个点困扰了我很久,以前一直不知道为啥这里要一定要出现梯度公式。 本质,和“切西瓜”这个方法是一样的,就是相当于“最棒的切西瓜“方式。 😂

  • @eve2533
    @eve2533 9 หลายเดือนก่อน

    太感谢了

  • @davidlau7182
    @davidlau7182 ปีที่แล้ว

    太会讲课了!!!

  • @黃志佳
    @黃志佳 ปีที่แล้ว

    加油,梯度下降终于见面

  • @ztc106
    @ztc106 3 ปีที่แล้ว +1

    影片裡頭提到的「學習率」是什麼東西? 似乎沒給出定義,也沒有更深入地解釋,非常可惜。

    • @hbj418
      @hbj418 2 ปีที่แล้ว +3

      梯度变换的快慢

    • @ztc106
      @ztc106 2 ปีที่แล้ว

      @@hbj418 厲害!原來,了解,感謝

  • @jameslin9566
    @jameslin9566 2 ปีที่แล้ว +1

    主要是理解好偏导的概念

  • @bobjiang82
    @bobjiang82 ปีที่แล้ว

    内容很好,就是有点啰嗦 😁

  • @ningzhiyuan
    @ningzhiyuan 2 ปีที่แล้ว

    这也太复杂了

  • @chiaominchang
    @chiaominchang 9 หลายเดือนก่อน

    好耶

  • @雪峰付
    @雪峰付 ปีที่แล้ว +1

    没讲透

  • @michaelzap8528
    @michaelzap8528 6 หลายเดือนก่อน

    实话实说。
    你以前的视频都非常好。
    但从这一期开始,所谓的梯度下降法,开始暴露出你对于机器学习的哲学和抽象级别的理解的欠缺。这导致了这一期讲解的内容开始不知所云。
    你原来的机器学习的开场思路是非常正确的。
    其实你应该顺着傅立叶变换的思路展开学习和讲解,你你会发现所谓的深度学习 包括大语言的transformer等等都异常的简单和自然。理解和实际操作实现,不是一件困难的事。

    • @beananonymous
      @beananonymous 2 หลายเดือนก่อน

      求问能不能给你一些你能获得这个学习思路的材料?(文本,or 视频啥的)

  • @朱清-t4s
    @朱清-t4s ปีที่แล้ว

    0.75倍感觉不错

  • @ningzhiyuan
    @ningzhiyuan 2 ปีที่แล้ว

    逐渐听不懂

  • @yangod2908
    @yangod2908 2 ปีที่แล้ว

    三连!!!