[TA 補充課] Graph Neural Network (1/2) (由助教姜成翰同學講授)

แชร์
ฝัง
  • เผยแพร่เมื่อ 23 พ.ย. 2024

ความคิดเห็น • 46

  • @Hugo_Musk
    @Hugo_Musk 2 ปีที่แล้ว +13

    教授&助教我愛您 您拯救了我的碩士生涯 祝您萬事順利 龍體健康 股票暴漲

  • @yangma-m8c
    @yangma-m8c ปีที่แล้ว +3

    我看李老师的视频经常2倍速,但是这个视频我老老实实正常速度看完了,后生可畏,年轻人,够快!(玩笑,感谢指导)

  • @hetingjian2574
    @hetingjian2574 4 ปีที่แล้ว +12

    讲的太好了,尤其是可视化公式那一段,解决了我在一些论文里一直没看懂的数学运算的问题,妙啊

  • @法外狂徒张三-x5y
    @法外狂徒张三-x5y 4 ปีที่แล้ว +20

    第一句话可以模仿毅神,“好,大家好,那我们来上课吧”

  • @DED_Search
    @DED_Search 3 ปีที่แล้ว +3

    34:40 为什么energy先套了一层leakyrelu 再做softmax?

  • @jllee5374
    @jllee5374 4 ปีที่แล้ว +4

    感觉这位老师讲的很细致,很棒。

  • @referjob3069
    @referjob3069 2 ปีที่แล้ว +1

    第15页,entity之间的relationship如果可以通过其自身的feature进行计算得到,此时是不是就不符合GNN的应用场景?

  • @hudsonvan4322
    @hudsonvan4322 4 ปีที่แล้ว +4

    如果是我開講我要說:「......(呼麥)好~ 來 Graph Neural Network......」補習班中毒太深XD

  • @pohaoliao9438
    @pohaoliao9438 4 ปีที่แล้ว +2

    32:32 weighted sum 的最後一個 w(u_hat 3, 2) 應該是w(u_hat 3, 4)才對

  • @ansonchang4196
    @ansonchang4196 4 ปีที่แล้ว +22

    好優秀 感覺未來是下一個ML老師 ^_^

  • @张智超-s8m
    @张智超-s8m 4 ปีที่แล้ว +1

    印象中,GTN中在做weighted sum之前要对所有的系数做softmax,这样以概率的形式做weighted sum更有意义一些,应该也会更好train

    • @DED_Search
      @DED_Search 3 ปีที่แล้ว

      同意 attention机制应该是要对similarity做softmax 结果用作weights

  • @DrOsbert
    @DrOsbert 4 ปีที่แล้ว +12

    终于有GNN的中文解释

  • @shimichale5238
    @shimichale5238 3 ปีที่แล้ว +1

    GNN这边有相应的开放的练习作业 Colab Notebook吗?

  • @YUNJUNGHSU
    @YUNJUNGHSU 4 ปีที่แล้ว +4

    請教一下 26:07
    從 hidden layer 0 [簡稱 h0] -> hidden layer 1 [簡稱 h1]
    在 h0 原本 h_{3}^{0} = \bar w_0 * x_3
    在 h1 新的節點:\hat w_{1,0} (h_{0}^{0} + h_{0}^{2} + h_{0}^{4} ) + ( \bar w_1 * x_3)
    我的問題是...在 update 的時候 為何 ( \bar w_1 * x_3) 不是 用上一層 h0 的資訊 \bar w_0 * x_3
    謝謝...
    很棒的教學影片 獲益良多

    • @meifishK
      @meifishK 4 ปีที่แล้ว

      我看的時候也有相同的疑問,查了一下好像這就是 NN4G 的定義方式,在這個 paper 的 p24 有個 Graph Model 總匯: A Gentle Introduction to Deep Learning for Graphs (arxiv.org/pdf/1912.12693v2.pdf)。至於為什麼對目標節點 (x3) 不拿 hidden layer 的 output (h3) 而是要拿 一開始的 input layer 資訊 (x3),實際理由我也不清楚。
      [我的直覺是這樣能保留這個 Node 原始的資訊 (不會被不斷的 transform 稀釋掉),而鄰居會在 hidden layers 中一直的被 transform/ 能被 embedded 比較多 high-level information。] 或許講師會看到留言給我們講解一下~

    • @DED_Search
      @DED_Search 3 ปีที่แล้ว

      我有同样的问题

    • @eric830117a
      @eric830117a 3 ปีที่แล้ว

      我的想法是, 類似另一種結構的CNN吧, 假設你在做convolution時, convolution layer裡的weight應該都是拿同一層, 所以h1裡的weight並不會特地用h0的, 以上個人見解, 有錯誤還請指正!

    • @NingLu2011
      @NingLu2011 ปีที่แล้ว

      我觉得 应该是用 \hat w_{1,3} 而不是 \hat w_{1,0}. 此处是对节点3而不是节点0进行操作。

    • @NingLu2011
      @NingLu2011 ปีที่แล้ว

      用\bar w_1是对的。类似self-attention将x3信息传递给layer one。所以和w_0作用不同。

  • @shonawang7652
    @shonawang7652 4 ปีที่แล้ว +1

    NN4G 应该是先对每一层的输出取平均, 再把每一层取平均后的值相加,解决邻居节点数量不一致问题的是MEAN,而不是SUM

    • @DED_Search
      @DED_Search 3 ปีที่แล้ว

      同意最后一点 前面助教讲的跟你说的一样

  • @lollipop030-pv2kw
    @lollipop030-pv2kw 10 หลายเดือนก่อน

    請問怎麼從input layer 到 hidden layer0?

  • @jllee5374
    @jllee5374 4 ปีที่แล้ว +6

    纵观整个大中华圈,感觉台湾地区的机器学习课程最好的了,大陆的名校都没见有公开的课程,学生据说都是直接学国外的课。

    • @s0correctur264
      @s0correctur264 2 ปีที่แล้ว +1

      中国大学每年都有科研指标,达不成的话教授副教授的位置就保不住,所以是没有人在专心教学的,都是草草了事,教材ppt甚至都是二十年前的。本应该由assignment来确定的平时分,都是随随便便看心情给的,大学排名确实升了,但学生水平就是shit。

    • @cattom3970
      @cattom3970 ปีที่แล้ว

      有的,在mooc上面有,但是李老师讲的好教学深入浅出,听了都说好

  • @shaoe
    @shaoe 4 ปีที่แล้ว +1

    38分03秒,下面三個圖,最左邊可以理解,但是中間、右邊不能理解會有什麼問題,雖然助教說自己看會有問題,然後就下結論,但是我真的看不出問題,求指導。

    • @helloworld9478
      @helloworld9478 4 ปีที่แล้ว

      我的理解:中间一个图,Max后都是红色(或者都是绿色),左右structures没法区分;右边一个图,同样的道理,Max和Mean得到的结果都是一样的,同样没法区分左右structures

    • @張哲銘-k5v
      @張哲銘-k5v 2 ปีที่แล้ว

      我的理解:
      max和mean都無法正確的搞清楚到底有幾個目標
      但你用sum就很清楚了

  • @sixuanli9449
    @sixuanli9449 ปีที่แล้ว

    相加的方式会有助于解决梯度消失的问题?

  • @---wu1so
    @---wu1so 4 ปีที่แล้ว +2

    ABC来自美国! 感谢您的演讲,您比美国人更能解释GCNN! :)

  • @playingdeep4516
    @playingdeep4516 4 ปีที่แล้ว +8

    27:19 很會學老師的梗喔XD

  • @louisfghbvc
    @louisfghbvc 3 ปีที่แล้ว +4

    等等等
    這聲音好像爆哥 Neal
    ==

  • @taku8751
    @taku8751 4 ปีที่แล้ว +1

    虽然很感谢,但是没有着重讲动机是败笔,比如问到「怎么把一个节点跟邻居节点联系起来呢?」,直接就跳到了「我们先来回忆一下CNN」。我看的时候直接就懵逼了,为什么要讲CNN?后来才想到CNN可以attend到邻近的节点

  • @xiaowang5174
    @xiaowang5174 ปีที่แล้ว

    姜同学讲得好,人也帅哈哈

  • @RobinHappyLife
    @RobinHappyLife 4 ปีที่แล้ว +1

    建议给课程写一份范例代码吧。

  • @chaopengchen4432
    @chaopengchen4432 3 ปีที่แล้ว

    感謝大神

  • @aallee_a
    @aallee_a 4 ปีที่แล้ว

    GAT是不是没讲详细?

  • @許竣翔-t5o
    @許竣翔-t5o 4 ปีที่แล้ว +1

    好課推推

  • @xianbinye2789
    @xianbinye2789 4 ปีที่แล้ว

    感谢分享

  • @qian2718
    @qian2718 4 ปีที่แล้ว

    讲的好清楚!谢谢分享~~~

  • @shiroy768
    @shiroy768 4 ปีที่แล้ว

    感谢!

  • @何浩源-r2y
    @何浩源-r2y 4 ปีที่แล้ว

    太感谢了,很有帮助!!!

  • @zmario8605
    @zmario8605 4 ปีที่แล้ว +1

    看到了自己研究方向的课