LoRA是什么？| 5分钟讲清楚LoRA的工作原理

本视频面向小学二年级，0门槛，请放心食用
LoRA训练代码： github.com/kohya-ss/sd-scripts

[@allezvenga7617]

謝謝分享

[@phdvlog2024]

视频中有非常多的错误：
1、比如说两个秩小一点的矩阵相乘，可以得到秩比较大的矩阵。这是不可能的。因为 rank(AB) ≤ min(rank(A), rank(B))
2、没有解释信息量和稀疏矩阵压缩，这是LoRA的精髓
3、3x3的矩阵乘以1x3的矩阵，根本无法相乘
4、对LoRA中Rank的解释不对
5、LoRA是有损的，视频解释是无损的，这个错误最严重
6、还有很多

[@ruiyangxu790]

要不PhD兄做一个专业点的视频，帮我们把LoRA的paper透彻的过一遍？

[@amostsai]

說明的非常好

[@huiwencheng4585]

非常強

[@pigeatappgood8884]

❤

[@tony608]

膜拜

[@ruiyangxu790]

你自己说的，秩越大信息越多，那么在把秩降低的时候，信息是不是也丢失了？这个丢失的信息如何去衡量，如果信息丢失的过多，最后训练结果会不会失真？

[@useryee6470]

我猜，如果100*100可以拆解成100+100的矩陣，反過來也可以組合成一樣的矩陣，那麼其中的資訊是沒有消失的

[@phdvlog2024]

这个视频讲的很多地方是错的。
深度学习中很多矩阵含有的信息量并不大，所以挤掉大量水分依然能维持正常的功能。另外这样做也有类似dropout的效果。结果不会失真，反而可能提高。

[@phdvlog2024]

@@useryee6470 100*100的矩阵无法拆成100+100的矩阵，就算是稀疏矩阵，信息量也必然会丢失。但深度学习很多东西是冗余的，挤掉一些水分问题不大。

[@shunruzhang4237]

线性代数能理解的人不多吧

[@JT200905]

資訊科系必修課..... 不過對資管比較沒用就是了....

[@samzheng5501]

@@JT200905必修課不等於會。不說了，大叔要去第25次重修線性代數

[@haominliu6851]

感觉💩到一半，猛然夹断的感觉