【生成式AI】Finetuning vs. Prompting：對於大型語言模型的不同期待所衍生的兩類使用方式 (2/3)

[@HungyiLeeNTU]

影片字幕由台灣大學化工所的張育誠同學提供

[@orangethemeow]

李老师终于更新啦 期待！

[@kylin68]

好喜歡老師上課的風格，請問還缺博班生嗎？

[@incameet]

台大機械學習很強喔！老師講的東西網上很難自己找齊👍

[@binxuwang4960]

真的，即使在整个英文youtube上也很难找到跟进文献这么全面 讲解得这么清楚的视频！弘毅老师好棒

[@Peacewong2000]

老師，其實會否不是機器從錯誤範例中學習，而是機器從錯誤範例中，歸納出另一套Prompt，例如從你的例子中，機器了解到要生成相反Sentiment Analysis，而大型語言模型因為學習能力強，所以從範例中歸納新的Prompt的能力更強

[@yanghu9531]

先赞后看，已成习惯

[@incameet]

老師編的故事好像是ChatGPT寫出來的😂

[@skyfaded9807]

谢谢老师

[@BruceChouTW]

「GPT系列為什麼沒有選擇跟BERT一樣去微調參數？」，有一個值得一提的觀點，Sam Altman在最近一篇名為Planning for AGI and beyond的blog中有提到，openai希望人類社會經歷的是一個漸進式抵達AGI的過程，而非突然必須接受。我想他們就是想透過GPT以及未來的繼任模型來走這條路。順帶一提，其實openai還是有開放api來讓需要的人根據自己的資料來微調。

[@asdfv1222]

阿斯拉的概念?

[@蕭淇元]

2:54 chatGPT 是OpenAI 下克上的逆襲❗

[@xiaoyanlu8268]

李老师，非常感谢深入浅出的剖析，受益匪浅。不过这个系列投影片链接都变无效小，能否更新链接，方便我后续好温习这系列的内容

[@yunzhaoau]

谢谢老师的指引!🙂

[@jamesyang5187]

引用李老師的話“機器沒有學著做in-context learning， LLM只學了文字接龍，直接拿出來以後，就有神秘的in-context learning能力”。This is really astonishing! How can the model learn something from the input only, even without modifying its parameters through gradient descending ? I guess : this machine just mimic the previous dialogues。 If we shut down the machine (clear the previous dialogues), then the machine will lose this 神秘的in-context learning能力。 不知道我的猜測是否正確？ 謝謝

[@weiweiworld9]

听完如雷贯耳，振聋发聩

[@KevinKuei]

請教一個問題, @8:18 老師說給機器的範例如果跟問題無關, 學習就無效, 可是從圖中Direct MetaICL 紫色的F1 & Acc 仍然很高耶

[@chrischang1980]

in-context learning應該沒有去fine tune模型的weight，畢竟它算是一種few-shot prompt，所以本質上機器並沒有在學習，只是資料流因為流進模型時，造成資料因attention跟fusion的影響，而在data trajectory上的偏誤，不知道這樣子想對不對?

[@李云龙-l9c]

我觉得是这样的，只是效果可以和 fine tune 后的相近，不可能边聊天边 fine tune 模型的 weight 的

[@natarajanbalasubramanian8484]

Can you please release an English version if possible

[@jeffkevin3]

😎

[@柳骏杰]

我给Chat GPT输入了视频中的向量和对应输出，它竟然也给了Bar的答案！

[@jing5721]

finetune的训练花销比较大

[@zhenghu-x9m]

模型够大、够聪明，才能听得懂人在故意说反话。

[@huiwencheng4585]

李講得比陳好

[@yanghu9531]

感觉很像测试工程师🤣🤣🤣🤣

[@tiger8938]

超大模型：学好要三年，学坏就三天