9:30 在這段課程錄影中，為了更清楚地比較 Alpha Go 的訓練過程與大型語言模型的訓練方式，我對 Alpha Go 的實際推論與訓練過程進行了大幅度的簡化。例如，我並未提及 Value Network 和 MCTS 等概念。如果您希望深入了解 Alpha Go 的訓練與推論過程，建議您閱讀原始論文。 13:30 需要注意的是，本段課程主要講述的是 Alpha Go 中 Policy Network 的訓練方式。事實上，Alpha Go 還包含了 Value Network 的訓練，用於估算棋局的勝率。這引發了一個有趣的思考：是否可以在大型語言模型的 RLHF中引入類似的概念？ 19:50 在翻譯術語時，Reward Model 可能譯為「報酬模型」或「獎勵模型」比較合適 34:00 有關人生道路的抉擇不建議詢問大型語言模型
9:30 在這段課程錄影中，為了更清楚地比較 Alpha Go 的訓練過程與大型語言模型的訓練方式，我對 Alpha Go 的實際推論與訓練過程進行了大幅度的簡化。例如，我並未提及 Value Network 和 MCTS 等概念。如果您希望深入了解 Alpha Go 的訓練與推論過程，建議您閱讀原始論文。
13:30 需要注意的是，本段課程主要講述的是 Alpha Go 中 Policy Network 的訓練方式。事實上，Alpha Go 還包含了 Value Network 的訓練，用於估算棋局的勝率。這引發了一個有趣的思考：是否可以在大型語言模型的 RLHF中引入類似的概念？
19:50 在翻譯術語時，Reward Model 可能譯為「報酬模型」或「獎勵模型」比較合適
34:00 有關人生道路的抉擇不建議詢問大型語言模型
謝謝老師補充，來去自主學習更深
在LLM引入value network 的概念，是指多一個model 評估完整答案的正確率嗎?
reward model 的翻译： 为什么华人，不管是台湾还是大陆，全部都是这德行，在科技前沿地带搞翻译，而且，还要意译。 真见鬼了。 这是华人们的反人类罪😂😢。 教授已经开始有一点觉悟了，有抵制，不错😅😂
来自大陆的学生，真的羡慕有这样的老师
感谢老师一直的分享
加入旁听
工作之余AI学习全靠李老师，感谢
大陆高校上课没前途啊，要项目，基金，帽子才是关键
@@w565u44 好好学习!
1. 大模型訓練第三階段：互動及技巧學習（Reinforcement Learning from Human Feedback, RLHF）
◦ RLHF意義：模型根據用戶反饋進行學習與調整。
◦ 例子：使用者對模型給出的答案不滿意時，可要求模型重新生成答案，並提供反饋。
2. 訓練資料差異：
◦ 第一階段：Pre-training，使用網路取得的資料。
◦ 第二階段：Intermediate Pre-training，資料由人提供，稱為Supervised Learning。
◦ 第三階段：RLHF，訓練資料不再是明確的輸出，而是相對好壞的評價。
3. Reinforcement Learning (RL) 概念：
◦ RL運作方式：語言模型根據反饋調整參數，提高好答案的生成機率，降低壞答案的生成機率。
4. RLHF與人類參與的比較：
◦ 第二階段需人類提供問題與答案。
◦ 第三階段人類只需評價模型生成的答案。
5. RLHF的實際應用：
◦ 使用回饋模型（Reward Model）來模擬人類反饋，進行模型訓練。
6. 訓練模型演進：
◦ 從AI-Human Feedback (AI-HF) 到 AI-AI Feedback (AI-AI-F)，使用AI模型互相提供回饋。
7. 訓練階段總結：
◦ 第一階段 (Pre-training)：基礎模型訓練。
◦ 第二階段 (Intermediate Pre-training)：進一步訓練，引入人類老師。
◦ 第三階段 (RLHF)：針對人類偏好進行調整，進行更深層次的學習。
關燈了，又起來開電腦，上課了。
看的很開心，知識點滿滿 + 笑點滿滿，謝謝李宏毅老師的無私分享！
今天這個上傳時間感覺上完課去睡覺剛剛好！🫶🏻
這個更新時間是在致敬芙麗蓮!?
來補課啦~ 順便跟下面那位怪人說一句。 這節課是導論🤭芙莉蓮是真理！
老师的课程没结束，我已经把《埋葬的芙莉莲》看完了，谢谢老师推荐，期待第二季😅
感謝老師一直分享～
请同学们先看完《葬送的芙莉莲》，再来上此门课！❤
GPT 建議去工作不要念博班一氣之下給了負回饋那段像段子一樣不禁看了三次 😂
有加字幕真的很棒
兩倍速看的時候很方便
感謝教授做這麼麻煩的事情
感谢老师一直分享，帮助好大，还想请问老师，作业部分有没有开放资源，想自己做下练习试试
作业怎么看呢，有没有好心人放一下？
希望能有专门的视频示范fine-tuning，比如用Lora方法😁
謝謝老師!
25:30 提到 LLM 過度跟 reward model 學習後會導致結果變爛, 這會不會是 reward model 本身有問題, 而不是過度學習導致的呢?
本来就是reward model自身的问题，才导致大语言模型输出结果变差。但是，reward model自身有问题这点，目前是不可避免的(毕竟reward model不是真的人类)。如果大语言模型没有过度向reward model学习，那么reward model的问题是不会传染给大语言模型的，所以才说，大语言模型过度向reward model学习导致了大语言模型结果变差。reward model可以认为是大语言模型的训练集，reward model中有噪音(比如文中的pls，？？？)，大语言模型正式过度拟合了这些噪声，才导致输出结果里面总是含有pls，？？？
謝謝老師
來這邊update福利連劇情😊
这种东西，这就像毒药/
把 MCTS 用在語言模型上不知道會怎樣
上課啦～
谢谢李老师！
這次的聲音比之前的影片都小了, 希望之後的影片能大聲一點點, 謝謝教學
請問 nvidia 講 RAG 的課可以分享嗎？
老師有空會講講MAMBA嗎~
Reward Model，感觉上跟GAN里面的判别模型有点像
老師不好意思想請問一下：回饋模型的出現是否也是利用RLHF的方式？這樣語言模型訓練到最後，是不是就變成回饋模型的樣子？那這樣我是不是直接用回饋模型來取代語言模型就好呢？
我猜测reward model只能判断大语言模型输出结果的好与坏，reward model自身并不能进行token接龙，所以reward model取代不了大语言模型。
老师，有没有时间讲讲MANBA模型
过度向虚拟人类学习，应该出现了过拟合(Over fitting)，模型学了偏招。
作业练习的录像是在哪呢？😃
老師為什麼能在這麼短的時間內爆讀二三十篇最最新的paper🥹
晚来的追更
safety确实是个问题，之前做一个功能老是被拒绝输出，结果发现是讲了自由
這部爆天龍八部的雷
为了看懂例子 😂 我找借口二刷了某勇者神剧 😅
来上课
覺得我有點中毒了。 在看冉則複製體的時候，就想到如果我們也能複製自己給語言模型當人類老師，該有多好，這樣訓練就不花人力了..
我打算去看芙莉莲了
偷偷地業配博班...
噗……我还仔细想了一下干嘛那个七言的好……
前排
RLAIF是不是跟前面tree of thought有點像啊