【生成式AI】Finetuning vs. Prompting：對於大型語言模型的不同期待所衍生的兩類使用方式 (1/3)
ฝัง
- เผยแพร่เมื่อ 9 มี.ค. 2023
- 影片字幕由台灣大學化工所的張育誠同學提供
投影片: speech.ee.ntu.edu.tw/~hylee/m...
BERT 介紹影片: • 【機器學習2021】自督導式學習 (Self...
BERT 介紹 Blog: leemeng.tw/attack_on_bert_tra...
AdapterHub: adapterhub.ml/
Adapter for Speech Processing: arxiv.org/abs/2210.06175 - วิทยาศาสตร์และเทคโนโลยี
影片字幕由台灣大學化工所的張育誠同學提供
真的覺得prompt 跟adapter 是很神奇的技術😆
謝謝老師精彩的分享，受益良多
每周最期待:3
老师讲了两种finetune模式，第一种是调整参数，主要是用gradient descent微调原有模型的参数；第二种是增加一个叫“adapter”的模组，用各种各样的adapter方法去做调整，比如bitfi,houlsby,adapterbais,loRA，等等。
后者也叫 efficient fine tune
Adapter也是非常好用的節省資源的方法
LLM as Service -> LLM as Operating System
LLM模型规模必然非常巨大，有能力作出这个模型，或改动这个模型参数的机构必然很少。而任务需求方是千千万万的中小机构甚至是个人，就算你把模型开源出来，他们也无力部署这个模型，更不用说再用Fine-tuning这种模式去修改模型参数了。所以，我们应该追求不修正模型参数，就能让任务需求方完成任务的方式，也就是应该采取prompt/in context learning模式完成任务，而非Fine-tuning模式。模型制作方则将LLM作成公用服务，以LLM as Service的模式运行。作为服务支持方，考虑到千变万化的用户需求，所以LLM模型制作方更要追求让LLM能给尽可能多类型的任务提供基础支持，这也是为何超级大模型一定会追求走向AGI的现实因素。
toolformer as app
LLM再牛逼也有自己不懂的细分专业知识，这时候需要需要借助外部工具。大公司提供底层LLM，小公司提供专业工具。
謝謝老師分享！！
谢谢老师分享！！！
谢谢李老师
LLM 成為通才，非常好❤
但是，沒有把握的問題，就回答「
我無法回答」，
而非「錯誤回答」
，用戶會諒解的😃
----------
就像人類通才，也
有無法回答的問題
，Ok 的❤
----------
「監督式學習」也好， 或「非監督式學習」也好，對於用戶來講，對於用戶來講都是
「Transparent」
😃😃😃😃😃
請問老師同學：我最近看LoRA fine-tune，回頭溫習SVD。對於一個2D矩陣而言（比如是一個影像矩陣），SVD是不是與2D DCT(或是其他種類的transform) 有著相似的作用？ 可能此問題早就被問過了，但是我在網路上搜查不到太詳細的說明。謝謝老師同學。
同學們，上課囉😄
现在模型越来越大，finetune成本太高了，性价比还是prompting好
这两条路，哪条能走的更远呢？目前我觉得是prompt。
去年TA是不是提过 prompt在NLP的应用呀
😏
Part 1):
任何一條神經網路也是一個多變數廻歸分析，也是統計學迴歸分析的一環。我在40年前攻讀數理統計就涉及這些人工智能及多變量（含時間變量）的廻歸分析（向量/ 矩陣/ 線性代數/ 機率/ 取様….）, 以便對一些事件做出精准智能的預測。
所謂自我學習或機器學習也只是用後面收集或模擬出的更新的資料去修正原先迥歸分析的杈重或係數參數而已。
而深度學習也只是處理巨量變數時，為了避免僅用單層機器學習進行巨量變數而需要解大矩陣導致對巨量平行計算的需求，進而變換設計成每層適量變數，建立多層次的機器學習修正。
40 年前人工智慧就是數理統計的一大課題。馬斯克說得一點都沒錯-目前的人工智慧全部建立在數理統計的基礎上。從那時開始就不斷有各行各業的數據分析專業人士來我們數理統計這參與並學習迥歸分析。他們回去後就不斷建立了屬於他們行業內的多條神經網絡（行業內的迥歸模型）。
在那時從事這類研究工作的數理統計的博士生全部被限制在晚上12 時過後才能使用國家級的超級計算機，否則我們兩三𠆤人一上線全部就大當機。我們那時也發展出一套類似挖礦機的方式，利用所有大量閒置的𠆤人電腦來提供其微小的算力，進而整合這些龐大的所謂分散型算力，但受限那時網路的不發達，很難把規模擴大。
近幾十年隨計算機能力不斷提升，目前市面AI 所謂大模型，主要是著力於面對”服務大衆需要”的所謂生成式/ 語言等等的智能協作服務。就是把百行百業各個領域等等數以千萬千億計資料進行迥歸模型的建立及修正（所謂自我深度學習）而形成龐大的神經網絡。
因此也不用太誇大眼下的AI , 這些早在40 年以前都已建構了理論基礎，而智能恊作早在各專業領域都已發展的非常完善，只是因過去算力不足只能在各自專業領域進行中小規模（變量數較少）的神經網絡建構。例如氣象預報就是早期最明顯的利用氣象專用超高速大電腦發展為成熟預測能力（AI)的例子，股票買賣決策也是智能恊作(AI/CIC)的典型。
”把簡單數學上使用即存的規模資料或電腦模擬資料進行所謂的㢠歸分析/模型建構並藉此模型做可行的智能預判或恊作，包裝成醫學上複雜尚未完全掌握的神經網路的機制及作用原理”，不但瓢竊了數理統計在AI 發展的絕對地位，實在也是在誤導整𠆤AI 的發展。也會造成眼下一般人的過度期待和焦慮。應將AI 改稱作” CIC:Computer Intelligent Collaboration , 電腦智能恊作， 更為恰當。
何謂知識？ 由經驗總結後（ 抽象具體化） ，就形成知識（用數字分析的表達方式就是去建構知識模型）。 形成知識後就可複製/ 傳承/ 預測/ 擴展。因此目前的AI 發展，就是在循人類文明發展至為重要的其中的一𠆤過程-只是採用了數位化的方式，將經驗知識化了。
目前的AI 只是以數理統計為手段及方法論，以資訊及計算機工程為工具，進行數位型的經驗知識化的過程。
人類有許多其他不同型態非常複雜的知慧，這種僅止於知識數位化的智慧， 其實離人類多型態的智慧還有非常巨大的距離。
另外， 眼下AI 服務於大衆的大模型的各種數學理論及所謂的機器學習（參數修正）及深度學習（參數及變數的多層次增加及修正）。 早在40 年前相應的數學理論都已完備（但落實到實際應用上，如何解1 億 by 1 億的聯立方程組( 行列式計算）， 這需要極其龐大的平行計算能力，在那時期是完全不可能的） 。
其實AI 最重要最關鍵的是各行各業各領域的專家組，而不是這些AI 編程的公司（ 他們只是依需求用已完善的數學統計理論加以電腦編程後，利用巨大算力去幫忙找出合適的模型並不斷予以完善）。
只有各行各業各領域的專家組才知道在茫茫大海中的資料及訊息中，那些因素才是其所涉領域的関鍵變數，那些變數資料才是可做為他們收集分析建立模型的。例如氣象學/經濟學/股票買賣智能決策/ 醫學/ 藥學/ 農業生產/ 基因工程/ 化學工程/自動駕駛/飛彈防空系統/圖像識別及處理/ 建築結構力學/小樣品模擬模型（核爆/飛機失事）………..等等。
此外服務大衆的語言學也是極度複雜的一門學課，其可能的變量變因會高達幾千萬𠆤， 再加上多層級過濾學習修正的模式，因此其涉及的變數算力就以億計， 所以才稱做大模型。 要取那些因素進行那一層分析，主要都是語言學家在主導。
而這些眼下的AI 應用的公司， 只是利用已發展完備的數學統計理論在不同領域專家組的指導下，去有效的進行數拈收集整理分析並進而建立一個特定領域的模型，作為該特定領域的電腦智能恊作工具。
遲到了 但我絕不缺席🥳🥳🥳
老師投影片URL 404～~
其實最近有人說 ChatGPT 的記憶力不太好，所以或許純 fine-tune 或純 prompt 應該都不太夠，應該是有一些 head 可以被 fine-tune 但整個 model 用 prompt 比較好嗎？
不過 coding 實在不容易，現在只能想想 😰……希望這週能完成進度 😅
fine-tune 只能在已有的資料集上進行，例如已有的資料集是 [0, 1, 2, 3, 4, 5, 6, 7]，fine-tune 之後模型就只能做到 0-7 其中一個；而如果用 prompt，除了做到 0-7 之外，還可以做好 [0.5, 1.5, 2.5, 3.5,...]。
如果用機械繙譯舉例子，ChatGPT 做繙譯的優勢不在於與現有的機械翻譯模型相比多麼精確，而是它可以同時做到改善文本（令文章結構更清晰、內容更通順、句子更符合英文母語者習慣、更正句子中的文法錯誤）、風格轉換（將口語寫的文章譯為正式的英文書面語文章、為兒童解釋複雜的知識）、語體轉換（將詩歌譯為英文散文、將散文譯為英文詩）。其中有些用途，不要説微調好的模型，連資料集都沒有，用微調肯定是做不到的，而「成為通才」則可以解決這一點。
再加上 ChatGPT 本身有對話式的交互能力，用户可以追問推理過程或提出修正意見，進一步改善了用户體驗。
當然，鑑於 fine-tune 的模型是某一方面的「專才」，我認為可以使用對話工程的方法，編寫 prompt 讓 ChatGPT 呼叫「專才」，ChatGPT 負責整合和改進結果。ChatGPT 在其中扮演「膠水」的角色，而整個過程以多輪會話的形式完成。
加油
ChatGPT 的記憶力有token限制沒錯，在他們早期的文章也提到fine-tuning比prompting更省字。但是 GPT-3.5 turbo API 還是沒有 fine-tuning 的功能啊~ 只有 ChatML 可以做 prompting
想问下，adapter可以理解为prompt-tuning吗
想請問有人能告訴我Adapter跟在最後加head來對應特定任務的差別在哪裡呀? 還是說Adapter的價值是在multi-task?當今天有新的任務要做，Adapt只要新作一個就好，但如果是用head就必須整個重train。我的理解對嗎?(意即當處理單一任務時，adapter與head的差別僅在於一個加在語言模型裡，一個加在語言模型外)
adapter的思想类似python的装饰器吧
有沒有人把通才當第一關，先解析問題，再把問題丟給專才處理，以得到最好的結果 ?
投影片點進去是404 not found OWQ
17:13 adapter
可以所有任務都用同一個adapter嗎
那怎么区分任务的类型呢？
模型太大，调不动... prompt走起！
------------------
我個人 prefer
「第一種」 LLM❤
------------------
「第二種」LLM，
使用「接龍」方式
「生成」回答，
LLM 並不瞭解它
所回答內容的「含意」或「意義」，
所以回答可能是不
正確的🤐
有些領域的回答
具有「唯一性」
，例如：
1+0.75=1.75，
它可能回答錯誤😢
再者，LLM 在
Open System 的
環境中，很容易
「Garbage in，
Garbage out」
&「Wrong in ，
Wrong out」😢
簽到
大型語言模型提示Q&A。
當然不只是文字接龍，大哥
簽
老師我準時上課 可以讓我進您實驗室嗎
好
不
没问题
嵌入（Embedding）、微调(Fine-tuning)有啥区别
@@albertdouglas1797 看性別
1
fine-tuning 下的Davinci模型下训练的微调模型，在playground是没问题，但我跑去gpt对话那边却没有办法，这种私有的模型要怎么设置让用户得以继续访问呢？
You can only use API to fine-tune the model and then you can only use API to use the fine-tuned model (i.e., 私有的模型) for inference. Certainly, you can build an app calling the API for end users.
太及時了 我們公司剛好在做這個
哪家公司請問
@@user-yd6mp6vw2c Wondercise
@@websterwu8916 万达康 健身app？ 看起来 产品像成都的 魔镜公司
作息破壞者XD
我想李教授應該是誤會通才的意思了，這個影片舉的例子仍然是專才，專門幫課程做摘要