【生成式AI】ChatGPT 原理剖析 (2/3) - 預訓練 (Pre-train)

[@蒂蒂-f7o]

新課程真棒~
我是神奇寶貝篇入坑的鐵粉!!!!!

[@madturtle84]

ChatGPT的普及，督導式學習的隱憂也將逐漸浮現。某些議題在搜尋引擎還能找到正反方不同意見，但AI在人類的「教育」之下，恐將特定價值觀視為【標準答案】，進而影響廣大用戶。

[@skenming]

原來如此，之所以數學能力較差，原來是由於chatgpt「沒看過」 某題目的特定答案，因為數字3跟8對於gpt來說是都一樣只是文本而已。
下棋能力、打麻雀能力都差，都是應該同樣原因吧？

[@HungyiLeeNTU]

是的

[@apronb]

解釋得真棒！！！清楚易理解！！！❤

[@羅桑-g3g]

前世的記憶這個說法也太有趣XD

[@takeshi9458]

Multi-BERT感覺最早領悟的就是動畫裡面為何處於世界各地的角色都知道怎麼說日文

[@jamesbond0705]

老師您似乎忘記把這部影片放進播放清單中？ ＰＳ：謝謝分享上課內容

[@WangHyper]

@23:00 104 種的語言 pre-training 中, 是否有包含中文以及英文呢? 如果沒包含是否還有能力透過英文的 fine-tuning 來測驗中文考題呢?

[@skenming]

所以當我在提問加入「用table展現數據」、「重寫」之類指令， 這應該都是人類微調(finetune)的，而不是pre-train的。因為應該不會在訓練資料有寫指令之類字句。

[@linjianru]

讲的非常清楚，谢谢

[@Natural_Motion]

请教老师，gpts的原理是什么呢，是在GPT上做了什么工程上的改造呢？为什么可以针对特定功能定制化gpts,不会token太大失效吗？

[@apronb]

感謝！！❤

[@ting5002]

21:12 這樣可以說訓練模型是個黑箱嗎？連開發人員都不知道 Multi-BERT 是怎麼自動學會其他語言的？

[@idawang]

原來 42 不只是銀河便車指南的答案也是 GPT3 的終極答案！

[@mr.goldenball333]

跑出選擇題超好笑😂

[@Wind_of_Night]

GPT說，你問我，我還問你勒？
你知道就知道，你不知道，我也不知道。
所以出個選擇題是剛剛好而已～

[@自我表达]

简单易懂 不错

[@YaoChen-r1o]

老师您好，我想请教一下，就是为什么对gpt进行一种语言的训练，它可以自动学会另一种语言呢？您在视频中提到它无需翻译，但是为什么可以实现这种语言层面的跨越呢？谢谢您。

[@riejelly8398]

我的一个推测是因为预训练已经完成了多种语言的学习，在gpt上用一种语言完成训练，这样的结果会自动的迁移到其他语言上。仅以transformer的结构去理解，语言的不同可以被庞大的参数用其他的激活路径Cover

[@w565u44]

老师我问过chatgpt了，他自己说不同语言他是分开训练的，但也有一个包含多语言的模型。

[@jiabin26]

😁现在22G 基本上回答正确！

[@abinliu440]

老师最后一个例子，已经在最新的turbo模型里修复了好像

[@weichhsu5882]

感覺ChatGPT寫程式的能力還是有限，例如使用網路上沒有詳細Documentation的Library

[@李凯-f1d]

看之前先点赞

[@yliu8536]

老师怎么试出来错误的例子。ChatGPT又是怎么修正这些例子呢？

[@lch99310]

老師 想請問一下 如果今天有人惡意在網上善布超大量的假資料 例如: 台灣第一高山是合歡山
然後openAI的人在預訓練Training階段 並沒有把這些資料過濾掉 那這樣ChatGPT是不是就會學到錯誤的資料
當然事後還有老師把關的階段. 但人力時有窮盡 不太可能每個地方 每種語言都把關
那這樣要怎麼避免這種狀況的發生呢

[@like_miaow]

我不是老師 但我確實看過有人在chatgpt 剛出來的時候問他台灣是不是一個國家，它確實是回答網路上可能比較常出現的答案：「台湾是中国不可分割的一部分（下略）」
後來openAI 有把它修正了，到現在應該也仍然在做滾動式的修正，雖然不可能完美但至少有在持續改善，而如何讓模型隨新的資料持續更新，也是一個蠻多人研究的題目～

[@ubcTech]

因為ChatGPT已經跳脫了"語言的限制"，除非是全球的人串通好一起給錯的資料，否則它會按照比例ranking去選擇最高ranking的答案，而且人為訓練AI所提供的資料，OpenAI的人員也不會給"多數是不正確的資料"讓AI去學習，只要數據量極為龐大，很難有人可以提供超過一半以上的錯誤資料，這就像虛擬貨幣的區塊鍊分散式架構，除非駭客可以同時破解超過一半以上的區塊，否則無法修改虛擬貨幣的資訊。當然這也不代表AI給的都是正確答案，因為不是所有問題都是"台灣的第一高山"這樣簡單。

[@brunozhao7895]

讲的非常清楚！

[@jeffkevin3]

原來 foundation models 被確定翻譯成基石模型了嗎？ 😆

[@蕭淇元]

🐔🪨模型😂

[@counterko]

只因石模型

[@steven7824]

不错，希望能看到更多高阶的教程

[@steven7824]

应用高阶会更棒~谢谢，Lee Sir

[@车少]

机器学习内容是只看2023年的就可以了吗？20~22年的需要看不？

[@patrickruan2290]

謝謝老師，我又來學習了～～🤗🤗🤗

[@skyfaded9807]

老师，这个好像忘记加进去2023的课程里了

[@flappyegg]

哦哦所以这门课叫做：《生成式AI》是吗

[@helpncarehk]

人工智能就講得多 今日就學習下大語言模型 th-cam.com/video/SOsDDnlzim4/w-d-xo.htmlsi=1cwi4AkVyy2B6LSG

[@achillesarmstrong9639]

15：29 看到这段把我笑坏肚子了 🤣

[@stevenwong1099]

这个视频没有在对应的列表里面

[@chenwilliam5176]

切勿：
名不正，言不順！
名符其實！
--------
例如：
現在所稱的 VR，
應稱為 「虛擬視覺&聽覺實境」，
而非，「虛擬實境」！

[@baxile]

世界第一高峰是珠穆朗玛峰（我是杠精😂）