【機器學習2021】類神經網路訓練不起來怎麼辦 (五): 批次標準化 (Batch Normalization) 簡介

แชร์
ฝัง
  • เผยแพร่เมื่อ 26 พ.ย. 2024

ความคิดเห็น • 41

  • @yunzhang2553
    @yunzhang2553 3 ปีที่แล้ว +69

    我的全网第一男神!表白宏毅老师!

  • @siriuszhang8565
    @siriuszhang8565 3 ปีที่แล้ว +14

    老师讲的真好,我的深度学习启蒙老师,表白表白!!!!!!

  • @客家饒舌執牛耳
    @客家饒舌執牛耳 3 ปีที่แล้ว +6

    全台最帥教授,只服李教授

  • @Freeman99sd
    @Freeman99sd ปีที่แล้ว

    谢谢李老师!最生动,最易懂的AI课程。

  • @left_right_men
    @left_right_men 3 ปีที่แล้ว +8

    华人里最牛逼的深度学习老师

    • @jbai4001
      @jbai4001 3 หลายเดือนก่อน +1

      只是讲课讲的最牛逼

  • @三-o2k
    @三-o2k 3 ปีที่แล้ว +2

    feature normaliaztion 是可以想成統計上的Z轉換嗎?

  • @kaokuntai
    @kaokuntai ปีที่แล้ว

    13:14
    實際上應該是如何運算?
    產生了滿多困惑,
    想詳細了解,
    請解惑?

  • @junjack2836
    @junjack2836 3 ปีที่แล้ว +1

    表白老师,讲的太好了,什么时候上字幕

  • @emptyjns
    @emptyjns ปีที่แล้ว

    The diagram on page 7 is better described as a computation graph than a (neural) network.

  • @暗影潜行
    @暗影潜行 3 ปีที่แล้ว +1

    老师,训练结束以后,测试数据要怎样输入到网络,需要normalization吗,但是每个batch的u与sigma不一样啊
    是测试数据的u和sigma也是一直在做moving average吗

  • @zhuoruizhang2236
    @zhuoruizhang2236 3 ปีที่แล้ว +3

    请问老师助教讲作业的录影有机会放出来嘛?认真做了作业希望有点反馈

    • @jiashupan9181
      @jiashupan9181 3 ปีที่แล้ว

      我也是,很多疑惑没有人解答😭

    • @ChenyuZheng-y5m
      @ChenyuZheng-y5m 3 ปีที่แล้ว

      好像李宏毅老师主页上有

    • @zhuoruizhang2236
      @zhuoruizhang2236 3 ปีที่แล้ว

      @@ChenyuZheng-y5m 嗯嗯 我看到助教讲评作业的ppt了 不过我是想问有没有讲优秀作业的office hour 😂讲讲怎么过strong baseline

  • @水坎火离
    @水坎火离 7 หลายเดือนก่อน

    我一直看不懂 等高图,请问怎么看,哪里有教程?谢谢🙏

  • @莊芯瑜-o1w
    @莊芯瑜-o1w 3 ปีที่แล้ว +3

    想請問在第七頁的ppt上,老師把所有z的vector一起算平均和標準差,之後每個z的element在標準化,我想請問為什麼不能再跟normilize x的地方一樣,都個別標準化呢?

    • @文芳-c4j
      @文芳-c4j 3 ปีที่แล้ว +1

      x ̃1 代表着一个data

    • @文芳-c4j
      @文芳-c4j 3 ปีที่แล้ว +7

      1是上标不是特征的一维,而是一个特征向量

    • @hsin3872
      @hsin3872 2 ปีที่แล้ว +1

      我也有一樣的問題 他在處理x標準化 跟 處理z標準化的方式好像是不一樣的

    • @deadfire7973
      @deadfire7973 ปีที่แล้ว

      @@hsin3872 处理方式应该是一样的吧,都需要有一个batch,求出对应是向量的μ和Σ

    • @user-qz5ys6us6e
      @user-qz5ys6us6e ปีที่แล้ว +1

      @@deadfire7973好像不太一样,对x的处理没有考虑batch的因素,是统一了x的不同维度的范围,对z的话从课件里看已经没有这个功能了,z不同维度的范围并没有统一,更像是统一了不同batch下z的范围

  • @cunningshark
    @cunningshark 3 ปีที่แล้ว

    请问input输入时候的标准化和训练时每一层的标准化是一回事儿吗?似乎第4页的是针对某一个特征值的标准化,但是到了第5页,就变成了对训练资料不同特征的标准化,这里有些困惑。

    • @cunningshark
      @cunningshark 3 ปีที่แล้ว +3

      懂了,原来是要一次输入一个batch的数据,然后对每一个特征做标准化。听到后面讲明白了

    • @haoyuandong
      @haoyuandong ปีที่แล้ว

      @@cunningshark 我也纠结了好久是针对输入数据的行维度还是feature维度做normalization

  • @LiuYifei-jb3mh
    @LiuYifei-jb3mh 6 หลายเดือนก่อน

    讲的真好

  • @zhijwu4624
    @zhijwu4624 ปีที่แล้ว

    10:00
    請問x1、x2、x3算是一個batch嗎?

    • @riejelly8398
      @riejelly8398 7 หลายเดือนก่อน +1

      x1x2x3构成了一个数据条目,若干数据条目里的构成一个batch,对一个batch里所有的「x1x2x3」normalization就是BatchNorm

  • @juanguang5633
    @juanguang5633 2 ปีที่แล้ว

    15:16
    请问这里z1,z2,z3为什么会改变,不是training sample吗?

    • @MrJioYoung
      @MrJioYoung 2 ปีที่แล้ว

      z不是原始的sample

    • @riejelly8398
      @riejelly8398 7 หลายเดือนก่อน

      z是中间层结果,学习阶段参数改变z就改变

  • @li-pingho1441
    @li-pingho1441 2 ปีที่แล้ว

    老師你是我的神

    • @myworldAI
      @myworldAI ปีที่แล้ว

      哈哈,更高一级应該是佛

  • @WinnieBear-x3n
    @WinnieBear-x3n 3 ปีที่แล้ว

    好像沒看到Batch Normalization 的slide@@?
    是我眼花沒找到嗎>

    • @codedoc955
      @codedoc955 3 ปีที่แล้ว

      description 里就有

  • @kleemc
    @kleemc 3 ปีที่แล้ว

    讲得非常好👍

  • @yulongtian7783
    @yulongtian7783 3 ปีที่แล้ว +1

    点赞

  • @音旋-k6g
    @音旋-k6g 3 ปีที่แล้ว

    viagra -> serendipitous

  • @flv1737
    @flv1737 หลายเดือนก่อน

    研一

  • @PooGoo-p5u
    @PooGoo-p5u 3 หลายเดือนก่อน

    讲的真好