ขนาดวิดีโอ: 1280 X 720853 X 480640 X 360
แสดงแผงควบคุมโปรแกรมเล่น
เล่นอัตโนมัติ
เล่นใหม่
教授&助教我愛您 您拯救了我的碩士生涯 祝您萬事順利 龍體健康 股票暴漲
我看李老师的视频经常2倍速,但是这个视频我老老实实正常速度看完了,后生可畏,年轻人,够快!(玩笑,感谢指导)
讲的太好了,尤其是可视化公式那一段,解决了我在一些论文里一直没看懂的数学运算的问题,妙啊
第一句话可以模仿毅神,“好,大家好,那我们来上课吧”
34:40 为什么energy先套了一层leakyrelu 再做softmax?
感觉这位老师讲的很细致,很棒。
第15页,entity之间的relationship如果可以通过其自身的feature进行计算得到,此时是不是就不符合GNN的应用场景?
如果是我開講我要說:「......(呼麥)好~ 來 Graph Neural Network......」補習班中毒太深XD
32:32 weighted sum 的最後一個 w(u_hat 3, 2) 應該是w(u_hat 3, 4)才對
好優秀 感覺未來是下一個ML老師 ^_^
印象中,GTN中在做weighted sum之前要对所有的系数做softmax,这样以概率的形式做weighted sum更有意义一些,应该也会更好train
同意 attention机制应该是要对similarity做softmax 结果用作weights
终于有GNN的中文解释
GNN这边有相应的开放的练习作业 Colab Notebook吗?
請教一下 26:07 從 hidden layer 0 [簡稱 h0] -> hidden layer 1 [簡稱 h1]在 h0 原本 h_{3}^{0} = \bar w_0 * x_3在 h1 新的節點:\hat w_{1,0} (h_{0}^{0} + h_{0}^{2} + h_{0}^{4} ) + ( \bar w_1 * x_3)我的問題是...在 update 的時候 為何 ( \bar w_1 * x_3) 不是 用上一層 h0 的資訊 \bar w_0 * x_3謝謝...很棒的教學影片 獲益良多
我看的時候也有相同的疑問,查了一下好像這就是 NN4G 的定義方式,在這個 paper 的 p24 有個 Graph Model 總匯: A Gentle Introduction to Deep Learning for Graphs (arxiv.org/pdf/1912.12693v2.pdf)。至於為什麼對目標節點 (x3) 不拿 hidden layer 的 output (h3) 而是要拿 一開始的 input layer 資訊 (x3),實際理由我也不清楚。[我的直覺是這樣能保留這個 Node 原始的資訊 (不會被不斷的 transform 稀釋掉),而鄰居會在 hidden layers 中一直的被 transform/ 能被 embedded 比較多 high-level information。] 或許講師會看到留言給我們講解一下~
我有同样的问题
我的想法是, 類似另一種結構的CNN吧, 假設你在做convolution時, convolution layer裡的weight應該都是拿同一層, 所以h1裡的weight並不會特地用h0的, 以上個人見解, 有錯誤還請指正!
我觉得 应该是用 \hat w_{1,3} 而不是 \hat w_{1,0}. 此处是对节点3而不是节点0进行操作。
用\bar w_1是对的。类似self-attention将x3信息传递给layer one。所以和w_0作用不同。
NN4G 应该是先对每一层的输出取平均, 再把每一层取平均后的值相加,解决邻居节点数量不一致问题的是MEAN,而不是SUM
同意最后一点 前面助教讲的跟你说的一样
請問怎麼從input layer 到 hidden layer0?
纵观整个大中华圈,感觉台湾地区的机器学习课程最好的了,大陆的名校都没见有公开的课程,学生据说都是直接学国外的课。
中国大学每年都有科研指标,达不成的话教授副教授的位置就保不住,所以是没有人在专心教学的,都是草草了事,教材ppt甚至都是二十年前的。本应该由assignment来确定的平时分,都是随随便便看心情给的,大学排名确实升了,但学生水平就是shit。
有的,在mooc上面有,但是李老师讲的好教学深入浅出,听了都说好
38分03秒,下面三個圖,最左邊可以理解,但是中間、右邊不能理解會有什麼問題,雖然助教說自己看會有問題,然後就下結論,但是我真的看不出問題,求指導。
我的理解:中间一个图,Max后都是红色(或者都是绿色),左右structures没法区分;右边一个图,同样的道理,Max和Mean得到的结果都是一样的,同样没法区分左右structures
我的理解:max和mean都無法正確的搞清楚到底有幾個目標但你用sum就很清楚了
相加的方式会有助于解决梯度消失的问题?
ABC来自美国! 感谢您的演讲,您比美国人更能解释GCNN! :)
27:19 很會學老師的梗喔XD
笑死哈哈
等等等這聲音好像爆哥 Neal==
虽然很感谢,但是没有着重讲动机是败笔,比如问到「怎么把一个节点跟邻居节点联系起来呢?」,直接就跳到了「我们先来回忆一下CNN」。我看的时候直接就懵逼了,为什么要讲CNN?后来才想到CNN可以attend到邻近的节点
姜同学讲得好,人也帅哈哈
建议给课程写一份范例代码吧。
感謝大神
GAT是不是没讲详细?
好課推推
感谢分享
讲的好清楚!谢谢分享~~~
感谢!
太感谢了,很有帮助!!!
看到了自己研究方向的课
教授&助教我愛您 您拯救了我的碩士生涯 祝您萬事順利 龍體健康 股票暴漲
我看李老师的视频经常2倍速,但是这个视频我老老实实正常速度看完了,后生可畏,年轻人,够快!(玩笑,感谢指导)
讲的太好了,尤其是可视化公式那一段,解决了我在一些论文里一直没看懂的数学运算的问题,妙啊
第一句话可以模仿毅神,“好,大家好,那我们来上课吧”
34:40 为什么energy先套了一层leakyrelu 再做softmax?
感觉这位老师讲的很细致,很棒。
第15页,entity之间的relationship如果可以通过其自身的feature进行计算得到,此时是不是就不符合GNN的应用场景?
如果是我開講我要說:「......(呼麥)好~ 來 Graph Neural Network......」補習班中毒太深XD
32:32 weighted sum 的最後一個 w(u_hat 3, 2) 應該是w(u_hat 3, 4)才對
好優秀 感覺未來是下一個ML老師 ^_^
印象中,GTN中在做weighted sum之前要对所有的系数做softmax,这样以概率的形式做weighted sum更有意义一些,应该也会更好train
同意 attention机制应该是要对similarity做softmax 结果用作weights
终于有GNN的中文解释
GNN这边有相应的开放的练习作业 Colab Notebook吗?
請教一下 26:07
從 hidden layer 0 [簡稱 h0] -> hidden layer 1 [簡稱 h1]
在 h0 原本 h_{3}^{0} = \bar w_0 * x_3
在 h1 新的節點:\hat w_{1,0} (h_{0}^{0} + h_{0}^{2} + h_{0}^{4} ) + ( \bar w_1 * x_3)
我的問題是...在 update 的時候 為何 ( \bar w_1 * x_3) 不是 用上一層 h0 的資訊 \bar w_0 * x_3
謝謝...
很棒的教學影片 獲益良多
我看的時候也有相同的疑問,查了一下好像這就是 NN4G 的定義方式,在這個 paper 的 p24 有個 Graph Model 總匯: A Gentle Introduction to Deep Learning for Graphs (arxiv.org/pdf/1912.12693v2.pdf)。至於為什麼對目標節點 (x3) 不拿 hidden layer 的 output (h3) 而是要拿 一開始的 input layer 資訊 (x3),實際理由我也不清楚。
[我的直覺是這樣能保留這個 Node 原始的資訊 (不會被不斷的 transform 稀釋掉),而鄰居會在 hidden layers 中一直的被 transform/ 能被 embedded 比較多 high-level information。] 或許講師會看到留言給我們講解一下~
我有同样的问题
我的想法是, 類似另一種結構的CNN吧, 假設你在做convolution時, convolution layer裡的weight應該都是拿同一層, 所以h1裡的weight並不會特地用h0的, 以上個人見解, 有錯誤還請指正!
我觉得 应该是用 \hat w_{1,3} 而不是 \hat w_{1,0}. 此处是对节点3而不是节点0进行操作。
用\bar w_1是对的。类似self-attention将x3信息传递给layer one。所以和w_0作用不同。
NN4G 应该是先对每一层的输出取平均, 再把每一层取平均后的值相加,解决邻居节点数量不一致问题的是MEAN,而不是SUM
同意最后一点 前面助教讲的跟你说的一样
請問怎麼從input layer 到 hidden layer0?
纵观整个大中华圈,感觉台湾地区的机器学习课程最好的了,大陆的名校都没见有公开的课程,学生据说都是直接学国外的课。
中国大学每年都有科研指标,达不成的话教授副教授的位置就保不住,所以是没有人在专心教学的,都是草草了事,教材ppt甚至都是二十年前的。本应该由assignment来确定的平时分,都是随随便便看心情给的,大学排名确实升了,但学生水平就是shit。
有的,在mooc上面有,但是李老师讲的好教学深入浅出,听了都说好
38分03秒,下面三個圖,最左邊可以理解,但是中間、右邊不能理解會有什麼問題,雖然助教說自己看會有問題,然後就下結論,但是我真的看不出問題,求指導。
我的理解:中间一个图,Max后都是红色(或者都是绿色),左右structures没法区分;右边一个图,同样的道理,Max和Mean得到的结果都是一样的,同样没法区分左右structures
我的理解:
max和mean都無法正確的搞清楚到底有幾個目標
但你用sum就很清楚了
相加的方式会有助于解决梯度消失的问题?
ABC来自美国! 感谢您的演讲,您比美国人更能解释GCNN! :)
27:19 很會學老師的梗喔XD
笑死哈哈
等等等
這聲音好像爆哥 Neal
==
虽然很感谢,但是没有着重讲动机是败笔,比如问到「怎么把一个节点跟邻居节点联系起来呢?」,直接就跳到了「我们先来回忆一下CNN」。我看的时候直接就懵逼了,为什么要讲CNN?后来才想到CNN可以attend到邻近的节点
姜同学讲得好,人也帅哈哈
建议给课程写一份范例代码吧。
感謝大神
GAT是不是没讲详细?
好課推推
感谢分享
讲的好清楚!谢谢分享~~~
感谢!
太感谢了,很有帮助!!!
看到了自己研究方向的课