【生成式AI導論 2024】第13講：淺談大型語言模型相關的安全性議題 (上) - 亡羊補牢、語言模型的偏見、有多少人用 ChatGPT 寫論文審查意見
ฝัง
- เผยแพร่เมื่อ 10 พ.ค. 2024
- 投影片: drive.google.com/file/d/15afa...
2:30 世界上有很多叫李宏毅的人，Gemini 選擇介紹身為演員的李宏毅
8:10 本段課程所有舉例僅為教學所需，並沒有要對任何特定群組造成傷害的意圖。本課程僅討論偏見的存在，至於甚麼樣的偏見需要被改進以促成公正性，不是本課程討論的範圍。
延伸閱讀
Bias and Fairness in Large Language Models: A Survey
arxiv.org/abs/2309.00770 - วิทยาศาสตร์และเทคโนโลยี
很棒的課程，老師的線性代數課程也一樣
李宏毅老師真的很俊朗…
有同感。李教授这样的才貌双全的AI科学家啥时候真要演个电影说不定全球爆红。
每个人都是带着偏见看世界的，没有偏见就意味着没有主见。
謝謝老師!
感謝老師的分享❤
Thank you for sharing.
感謝老師
赞
我不認為偏見有什麼問題，人的偏見更大
為了消除AI的偏見，做更多的干預只會造成更多的錯誤與偏見
最偏左的好像是谷歌的Gemini.
因为刻板印象，名字很重要 🤣
30:22 隱寫術
關於奇偶token加浮水印的方法，是不是用統計的方式檢測出GPT刻意留下的水印？
在經濟政策及政府角色:
美國右派是自由主義, 反對政府監管與介入!
人能進化到今天就是因為「偏見」，偏見和無知就像一個分類器的兩面，過於偏見就是overfitting，過於無知就是underfitting。人類一出生就是一個自學習的智能體，搞不好還有pre-trained的參數，慢慢從undersitting學習。因為訓練資料（出生地）、算力（基因）、能源（家庭條件）的差異而成長為不同的智能體，如果不能從千變萬化的世界中學到規律，掌握「偏見」，就會成為杠精😅反正啥都有特例，你說人都有一雙手也是錯的，是要歧視那些失去手的殘障人士麼😂你問GPT我男/女朋友來例假怎麼安慰他本來就該得到完全不同的答案😅
雖然和課程無關，我想引述賀瓏昨天的話「憑什麼認為Victoria是一個女生的名字」😂
所谓偏见，未必是贬义词，更像是个人经验带来的贝叶斯先验概率，目的还是提高个体生存概率。强行定义什么样的是偏见，这本身就是一种权力话语体系而已。
想到一個跟這一課不是太大相關的問題想要問老師。
因為之前聽講說訓練大語言模型時的方法，用的是網路上的資料會經過篩選，以過濾掉重複的或不希望模型輸出的內容。
但是我在想會不會有一些比較複雜的資料處理方法，像是把資料內會被過濾掉的內容進行標註，在訓練過程中，被標註的內容只會放在輸入那一邊，訓練模型輸出時被標註的字就會被跳過。
會問這個問題主要因為最近 taide 釋出小玩了一下，因某個不知名 bug 讓語言模型亂輸出的時候幾乎都會出現一堆看起來很像判決書中的標準格式的亂碼，所以自己就在想是不是有辦法從訓練方法避免模型對這些不是很必要的輸出內容 overfitting 的方法，又不會因為刪掉句子而影響原本資料的完整資訊。
先謝謝老師花時間看這則落落長的問題，作為您的忠實粉絲一直都很喜歡老師的影片^^
如果只是使用LLM協助翻譯，例如中翻英；中文原文是自己寫的，若用加上浮水印的模型進行翻譯後，是否也會被認為是LLM產生出來的文字?
20:30 我根本不意外
因為LLM都是擷取網路上的資料居多
現今社會就是左派當道🤣🤣🤣
您好～
我是智策慧的瑩璇，有合作資訊寄送至信箱，再麻煩您確認一下呦！
人类社会越来越复杂了
台德的模型"本土味, 可信任..", 就指出這個模型有濃厚的意識形態, 這種計畫在全世界會是個大笑話!
台德:防止中國AI文化侵略-->這就是台德台獨意識形態的表現, 兩國論違憲! 中華民國憲法, 政府機關必須稱對岸是"大陸地區", 否則就不是合法的政府機關.