【生成式AI】大模型 + 大資料 = 神奇結果？(2/3)：到底要多少資料才夠

投影片: drive.google.c...
When Do You Need Billions of Words of Pretraining Data?
arxiv.org/abs/...
Scaling Language Models: Methods, Analysis & Insights from Training Gopher
arxiv.org/abs/...
Training Compute-Optimal Large Language Models
arxiv.org/abs/...
Scaling Instruction-Fine-tuned Language Models
arxiv.org/abs/...
InstructGPT
arxiv.org/abs/...

[@xfmercedes]

老师讲得太好了，我作为外行人都能听懂，真心感谢！

[@manyes7577]

屌打也聽的懂？？

[@houwenhe4748]

感谢Lee老师，您的每个视频都给了我很多启发。
从instructution-tuning和Chain-of-thought fine-tuning也可以反过来思考一下人类得出结论的方法。
我想起来了思考快与慢的系统1和系统2，一个是单纯的直觉，输入-输出，另一个是带有思考过程一步一步导出答案。
有时候可能不单单只要问是什么，还要要多问自己为什么。
可能这是提升解决能力的好方法。。。

[@jessexing3456]

每次听老师的课都有很大的收获

[@lch99310]

老師 您最後一段可能可以解釋 為什麼百度的文心一言 既便現在看起來還不成熟 還是要先釋出 可能就是向老師您說的 是為了要先搜集非常龐大的真實人類反應 然後不斷的改善

[@ycl5132]

先給一個正讚再說

[@shyang1380]

Chinchilla 清起來，deepmind 也有特粉

[@incameet]

所謂的「大力出奇跡」！😂

[@jimmy19244]

太棒了！講得太清楚了。

[@shunpan4034]

其实我还是都学过机器学习的内容，但是还是觉得很奇怪，为啥gpt似乎能从语料中学到逻辑演绎能力........

[@user-rh1sw6ji6t]

CLOSE AI 🤣

[@lgylym]

Chinchilla 是龙猫啊老师

[@peiminma3723]

金吉拉是猫的一个品种，长毛银渐层，咱养了只

[@vansen6776]

老师提个小小的要求，涉及到专业名字可以用中文翻译一下吗？有的时候理解不了。辛苦老师，谢谢~

[@yuan.pingchen3056]

所以要扭曲歷史與現實，就需要大量的閒閒沒事做的人天天上網把百萬說成“兆”，把“品質”說成“質量”，同時刪除那些糾正你的人的留言