- 27
- 22 161
Alice in AI-land
United States
เข้าร่วมเมื่อ 13 ธ.ค. 2011
痴迷AI,无法自拔
“Almost always the men who achieve these fundamental inventions of a new paradigm have been either very young or very new to the field whose paradigm they change. And perhaps that point need not have been made explicit, for obviously these are the men who, being little committed by prior practice to the traditional rules of normal science, are particularly likely to see that those rules no longer define a playable game and to conceive another set that can replace them. -- Thomas Kuhn”
“Almost always the men who achieve these fundamental inventions of a new paradigm have been either very young or very new to the field whose paradigm they change. And perhaps that point need not have been made explicit, for obviously these are the men who, being little committed by prior practice to the traditional rules of normal science, are particularly likely to see that those rules no longer define a playable game and to conceive another set that can replace them. -- Thomas Kuhn”
Trump VS Harris | ChatGPT o1 - Which one do you think is more likely to lead to WW3?
Telegram AI study group: t.me/+20i_E3O0lHEzNDZh
References:
- ChatGPT o1's answers: chatgpt.com/share/66fcf236-85bc-8007-86da-12a155379c6c
- AI generated voice from elevenlabs.io/
References:
- ChatGPT o1's answers: chatgpt.com/share/66fcf236-85bc-8007-86da-12a155379c6c
- AI generated voice from elevenlabs.io/
มุมมอง: 28
วีดีโอ
Sam Altman vs Oppenheimer|Gen-Z view on AI developments
มุมมอง 542 หลายเดือนก่อน
Telegram AI study group: t.me/ 20i_E3O0lHEzNDZh 0:00 Gen-Z discussion on AI developments 12:41 What future do you want? www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom Conspiracy theory or the truth? many of his concerns are valid! - All the founding members of OpenAI have left except Sam Altman, likely bound by NDAs and unable to speak about it. - ...
Jensen Huang | AI is advancing at the pace of "Moore's Law squared"!?
มุมมอง 3473 หลายเดือนก่อน
Telegram AI study group: t.me/ 20i_E3O0lHEzNDZh o1 RL CoT, what is next? Buckle up! where are we heading to now? Things are moving too fast and we might be in a rough landing. References: th-cam.com/video/kfe3ajUYSdc/w-d-xo.html openai.com/index/learning-to-reason-with-llms/
Cursor 101 | How I code 2x Faster using AI (Cursor + Sonnet 3.5)
มุมมอง 2743 หลายเดือนก่อน
For experienced developers, it’s a huge productivity boost. For newcomers, it breaks down knowledge barriers, making coding easier to start. Fun Web App code demo: github.com/aclie/Alice-in-AI-land/tree/main/cursor_example Telegram AI study group: t.me/ 20i_E3O0lHEzNDZh 0:00 Intro: What is Cursor 1:23 Why not ChatGPT/Claude 2:26 Cursor vs. Github copilot 7:12 Cursor live demo - build a fun web ...
Orchestrated Multi-Tool Use with Claude | Anthropic | AWS Bedrock
มุมมอง 1295 หลายเดือนก่อน
Telegram AI study group: t.me/ 20i_E3O0lHEzNDZh 0:00 Intro - 0:46 Benefit - Scalabilities - 2:02 Con - Parallel tool calls aren't supported yet. You'll need to wrap the tools in one function and handle the parallel calls yourself. 2:13 Example - Calculate tan(7) - 2:21 Flowchart - 3:46 Code Walkthrough 7:18 ReAct through LangChain 8:33 Stanford AI village 10:05 AI agent paradigm: where we are n...
Ray Kurzweil | AGI 2029!? Longevity Escape Velocity!
มุมมอง 3.7K5 หลายเดือนก่อน
Raymond Kurzweil (age 76 now); Occupations: Computer scientist|Author|Entrepreneur|Futurist|Inventor; Employer:Google Telegram AI study group: t.me/ 20i_E3O0lHEzNDZh Kurzweil has said: "I realize that most inventions fail not because the R&D department can't get them to work, but because the timing is wrong-not all of the enabling factors are at play where they are needed. Inventing is a lot ...
8篇scaling laws 论文泛读,哪篇是你的心头好?Scaling Law指的是模型的性能随着系统规模(例如数据量D、模型参数量N、计算资源C等)的变化而变化的规律
มุมมอง 6846 หลายเดือนก่อน
Telegram AI study group: t.me/ 20i_E3O0lHEzNDZh 论文时间轴: 0:00 Scaling Laws for Neural Language Models(语言模型的扩展法则);OpenAI, Jan 2020 7:30 Chinchilla Scaling Laws; DeepMind, Mar 2022 9:09 LLaMA: Open and Efficient Foundation Language Models(LLaMA:开放且高效的基础语言模型), Meta Feb 2023 10:33 Beyond neural scaling laws: beating power law scaling via data pruning, Stanford & Meta Apr 2023 14:39 Scaling Laws and I...
Geoffrey Hinton - 数字智能会取代生物智能吗? "Will digital intelligence replace biological intelligence?
มุมมอง 1.2K7 หลายเดือนก่อน
Telegram AI study group: t.me/ 20i_E3O0lHEzNDZh 1. 两种智能范式有何不同?逻辑启发式方法 VS 生物启发式方法对智能的不同理解。人工神经网络的基本概念?包括输入神经元、输出神经元及隐藏神经元的功能。 2. 为什么Hinton声称大语言模型确实能“理解”? 3. 数字和生物神经网络之间的区别? 4. 真实记忆和虚假记忆没有本质差别? they are all generative 5. AI技术对未来社会可能带来的深远影响?在劳动力市场中替代人类的可能性 Ref: th-cam.com/video/hLYr2QFxfrg/w-d-xo.html - 中文声音clone
The “it” in AI models is the dataset
มุมมอง 647 หลายเดือนก่อน
The “it” in AI models is the dataset.” 人工智能模型中的“它”指的是数据集 Blog: nonint.com/2023/06/10/the-it-in-ai-models-is-the-dataset/ Telegram AI study group: t.me/ 20i_E3O0lHEzNDZh
Gemini1.5 v.s. GPT4
มุมมอง 26210 หลายเดือนก่อน
chat.openai.com/share/af762156-e7fe-4ae5-996b-34ff1599e410 aistudio.google.com/app/prompts/new_chat storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf blog.google/technology/ai/google-gemini-next-generation-model-february-2024/#architecture threejs.org/examples/#webgl_animation_keyframes Telegram AI study group: t.me/ 20i_E3O0lHEzNDZh 1.多模态性能:Gemini 1.5 Pro在跨模态的长上下文检索 务中实现了接近完...
DPO V.S. RLHF 模型微调
มุมมอง 3.1K11 หลายเดือนก่อน
DPO 微调与 RLHF 比较,arxiv.org/abs/2305.18290,目前,DPO 在 Huggingface 排行榜上作为微调方法取得了很大的成功。从这个 DPO 树中已经衍生出现一些改进版本,如 IPO 和 cDPO,感觉一个 DPO 变种可能很快就会取代 RLHF。😊 DPO 微调方法允许在人类偏好数据上进行端到端学习,无需训练奖励模型,相比 RLHF(PPO)更简单、稳定、高性能且计算成本更低。 IPO - A General Theoretical Paradigm to Understand learning from Human Preferences. (arxiv.org/abs/2310.12036. 11/22/2023) cDPO - Eric Mitchell, A note on DPO with noisy preferences & rel...
面试题:大语言模型的涌现能力是一种幻觉!? 咱PK下 Are emergent abilities of large language models a mirage?
มุมมอง 25211 หลายเดือนก่อน
NeurIPS | 2023 Best Paper Awards blog.neurips.cc/2023/12/11/announcing-the-neurips-2023-paper-awards/ Telegram AI study group: t.me/ 20i_E3O0lHEzNDZh
程序辅助语言模型助力LLMs提升理科思维力
มุมมอง 106ปีที่แล้ว
Telegram AI study group: t.me/ 20i_E3O0lHEzNDZh reasonwithpal.com/ Program-aided Language Models, 程序辅助语言模型
揭秘QLoRA: 通过对权重矩阵量化的方法,来高效微调大语言模型 (Unveiling QLoRA)
มุมมอง 2.6Kปีที่แล้ว
Telegram AI study group: t.me/ 20i_E3O0lHEzNDZh 0:00 Introduction 2:09 LoRA未解决的痛点 (Pain points not addressed by LoRA) 3:49 运用qlora微调创建的Guanaco模型 (The Guanaco model created using QLoRA fine-tuning) 背景小知识 | Background Knowledge 5:43 什么是quantization量化?(What is quantization?) 10:19 什么是block-wise k-bit quantization? 引出 11:08 4-bit NormalFloat Quantization 14:07 双重量 (Double quantization) 15:47 QLoRA ...
LoRA: Code Demo [下]
มุมมอง 569ปีที่แล้ว
Colab: colab.research.google.com/drive/1iERDk94Jp0UErsPf7vXyPKeiM4ZJUQ-a?usp=sharing#scrollTo=D9aAU6JeCQGy Telegram AI study group: t.me/ 20i_E3O0lHEzNDZh
LoRA: Low-Rank Adaptation of Large Language Models, A Powerful Tool for Fine-Tuning Models【Part I】
มุมมอง 1.6Kปีที่แล้ว
LoRA: Low-Rank Adaptation of Large Language Models, A Powerful Tool for Fine-Tuning Models【Part I】
Transformer: attention is all you need [下]
มุมมอง 2.3Kปีที่แล้ว
Transformer: attention is all you need [下]
Transformer: attention is all you need [上]
มุมมอง 1.5Kปีที่แล้ว
Transformer: attention is all you need [上]
老少咸宜的AI图片生成小工具Animated Drawings和Scribble Diffusion,娃不亦乐乎的玩了大半天 |音频生成对比:剪印(中文) v.s. Bark(英文)| 文末有彩蛋
มุมมอง 165ปีที่แล้ว
老少咸宜的AI图片生成小工具Animated Drawings和Scribble Diffusion,娃不亦乐乎的玩了大半天 |音频生成对比:剪印(中文) v.s. Bark(英文)| 文末有彩蛋
10分钟带你了解prompt engineer的前世今生,让你知其然 更知其所以然.
มุมมอง 221ปีที่แล้ว
10分钟带你了解prompt engineer的前世今生,让你知其然 更知其所以然.
PaLM2/Bard真的吊打chatGPT么? 我们用以下四个问题的回答对比看看 | Alice in AI-land
มุมมอง 661ปีที่แล้ว
PaLM2/Bard真的吊打chatGPT么? 我们用以下四个问题的回答对比看看 | Alice in AI-land
chatGPT与数字生命,《流浪地球2》中的虚拟复活与AI的潜在威胁?| Alice in AI-land
มุมมอง 113ปีที่แล้ว
chatGPT与数字生命,《流浪地球2》中的虚拟复活与AI的潜在威胁?| Alice in AI-land
chatGPT造物主级别的想象空间: 蛋白质语言常用单词20,000个 | Alice in AI-land
มุมมอง 122ปีที่แล้ว
chatGPT造物主级别的想象空间: 蛋白质语言常用单词20,000个 | Alice in AI-land
2mins AI Consciousness Debate: Neural Networks vs. Quantum Processes | Alice in AI-land
มุมมอง 76ปีที่แล้ว
2mins AI Consciousness Debate: Neural Networks vs. Quantum Processes | Alice in AI-land
好强逻辑好清晰😃😃😃
😇
You need Claude DEV 2.0
Great video! thanks from Brazil :)
所以说 观测到涌现现象是测量标准造成的 并没有明显证据证明涌现存在?
What rubbish we can't even make anything close to biology at even mesoscale I have already worked with DARPA on several such projects with no success this is utterly rubbish no nano bots especially electronics ones are happening any time soon or ever the human mind and biology remains and will remain undefeated.
S C A M
感谢分享!!!
What do you think of bitcoin? The monetary crossroad with technology and ai.
Hi Alice. Welcome to wonderland memetics. Mad hatter an anagram for mathed art. ALICE detector and the white rabbit timing ToF. Root OS and trees. Even a Elliot majorana in wonderland on the video archive servers. Tweedle sets and quantum cats and snark graph theory and color theories. H3 superfluidity boojum. Alice strings and alice rings. The rich history of physics and wonderland. As far as promises of things like medical. That's only for a few. As societies show. Though it can be flipped around in ways like populations as test beds for things. But that gets side tracked onto variants/paths. As far as richer culture. The opposite is seen. Humans behind A.I. systems helping trash cultures grow and brain rot of types that almost seem targeted. Don't believe all the hype around A.I.. Some good and some bad and some companies will survive the bubbles. A.I. will keep evolving. Though a few kickers for humans at levels waiting for them. Good luck out there and good channel name. XD
Not only has the cost per computation dropped, but we have also become more efficient and better in what we compute or in our services. Better software can make old computers run games that were impossible in the past. Similarly, small AI models can continue training and improving, resulting in more efficient software. This means that even small AI models keep getting better, and it's just a matter of time before anyone can have the best AI assistance ever on their phone or old computer. This AI could move the mouse and write for you, acting as a personal assistant.
The music was too loud and came in too early at the end.
😂 yeah I know
主機也5年就在賠錢了😂😂😂
❤🎉
和有機生命相比,如果人工智能能夠有自我意識,能夠有意地自動修復,並且離開“身體”後仍然有續存的意識,就是生命。現在不論人類怎樣想像,人工智能可能會總結歸納推理結論,也不算真正的智慧生命。
能给数学并不好的人(我)解答一下吗? RLHF和DPO的共同点都是preference对子,DPO不依赖于reward model和RL,那是不是说DPO的训练数据会少很多?因为preference也是人来评判的,没用到其他模型作为近似。我感觉reward model也有是一个数据增广的作用,或者bootstrapping的感觉。 也很想知道,怎么把调整模型输出某个句子出现的概率转换成梯度的,最近看到一篇叫做KTO,说是不依赖preference对子,只要一个例子和一个二元判断受人类欢迎和不受欢迎就够了。不清楚为什么对子为啥这么重要。 如果可以,能请你更多用自然语言解释解释和对比一下这些方法论之间的异同吗?也希望节目时间能短一点。。。谢谢你!🤗
看过这篇
❤❤❤❤專業有簡單明瞭
化繁为简是美德
Part 3) 另外希能進一步說明為何這一輪由算力提供方來主導的AI 發展,將會走得很偏,而且會很快撞牆? 除在Part 2) 談及眼前這些所謂台面頂流AI 專家或團隊,粘粘自喜於眼前所謂模型誤失率16% , 殊不知在很多專業領域,16% 的誤失率,那可能帶來災難( 金錢損失, 人員傷亡, 大自然破壞) ! 例如,自動駕駛,氣象預報,股票期貨買賣決策等等。即便生成式模型,其誤失也可能帶給人們直接或間接的損失或傷害。 若不是由領域產業專家參與並主導的建模,要突破10% 誤失率,是極其困難的。 我說𠆤故事(不是在炫耀自己的賭技),大家也就明白領域產業專家的重要性。 我2000 年在香港公司上班, 每兩周回深圳家一趟, 每雙周末回深圳前,我會帶2 萬港幣去澳門葡京玩輪盤,每回我嬴到10 萬就走人,由珠海回深圳, 我次次去次次嬴,從沒輸過。 這就是有專業領域人員恊助的建模,誤失率很低,回報很高(投入少收益高)。 機率論是認為發生機率的事件是背後有些不明的隱變數,如果把這些隱變數儘可能的説明白,讓機率性的發生現象就會變得越來越小。 簡單的說,一個銅板正反面,前十次都開正面,第十一次開正還是反,數學家據於機率論的真蒂,告訴你一定開正面。因為從前十次已看出存在開出正面的未知隱變量。但一般人仍會認為正反各一半機率,甚至有人會錯誤認為連開那麽多次正面,這次肯定會開反面。 我玩輪盤下注前,一定會找現場的賭友看一下他們記錄卡上先前及近期是否有某𠆤特定數字常開出,若沒有,我會忍住不下注。一旦出現連續常開數字,我就立刻下注押這常開數字,以及輪盤面靠這數字左右各兩組數字,共5𠆤數字, 基本中率非常高, 可達到20% 押中率, 20% x35(賠率)/ 5( 押注數), 我每玩五次總投入是25 中一次賠35。 賺10 。 基本上2-4 小時達標10 萬港幣走人。 1)其實在現場賭友記錄卡上先前中球的數字就是領域產業專家去掌握數據的過程。 2) 我會解讀機率論,因此也是玩輪盤的專家。 因此我玩輪盤,就是具專業知識參與的領域產業專家, 另外我的投注策略,就是我建的模。 而眼前台面以算力為主導的AI專家,因為他們手上握有大量的算力籌碼,因此他們是次次都36 𠆤號碼全押, 所以次次都中, 但是每次總輸一𠆤籌碼。 這種暴力的押法, 就是沒有引入產業專家的結果。大量浪費算力在無味的押注上。基本上不是大力出奇蹟, 而是大力出爛成績。 另外眼前生成式大模型,最大的資料來源是取自提供搜索引擎服務的大型公司的資料庫。 而這些資料庫的data base 早已經過各行各業領域產業專家幾十年投入,進行維護梳理,並進行了多維度的數位標記。 因此目前生成式大模型真正的主要貢獻者是,各行各業領域產業專家幾十年的投入,進行維護梳理,並進行了多維度的數位標記。 所以缺乏產業領域專家主導,而由算力提供方來主導的AI 發展,可預見的是將會走得很偏,而且會很快撞牆! AI 的良性發展, 不是靠蠻力的大力出的爛成績。(把算力浪費在一些関聯性不高的變數上,不當不專業的取定變數) 而是要靠產業專家的巧力進而形成的大力出的好成績(奇蹟)。 AI的健康發展是以各領域專業專家組為主導,數理統計為核心,編程及算力只是工具,否則用提供算力及工具的這些人來leading AI 發展,會形成外行領導内行,並為AI 發展種下低效偏差甚至高風險的發展。 譬如新藥開發/氣象預報/各種不同語言等等都是以領域專家為核心,否則就亂套了。 更可行的作法, 各國加緊立法,用國家特准许可的方式,來認證並核准各領域不同應用AI 的開發許可及成效認證,譬如目前自動駕駛這領域,不能僅憑廠家自行認證,必需由國家相關單位認證,納入國家法規制約。其實其他領域也應該如此,即便服務大眾的生成式大模型也要納入規範管理,絕對不能任由AI 公司自行任意發佈,一個小電器產品都需有関認證,才能上市銷售,目前AI 大模型實在是太無序了,AI 公司任意上市推出由市場決定其優劣,客戶當白老鼠,完全沒有任何管理約束機制。 任何AI 應用開發的公司,必須有相關該應用領域專業專家為主導,及數理統計的人員的參與,如果沒有通過這些人員資質審核要求的公司或團隊,一律不得從事AI 開發及應用工作。否則視為違法。如同醫師證照,沒證照的醫師坐診,診所如何能執業?! 建立政府職能的審核監管制度,才能防止並追蹤AI 的錯誤使用/ 違規使用/違法使用, 也進而能排除人們對AI 發展造成危害人類的擔憂。 另外這也和在Part 2) AI 產業發展形成呼應。 AI 發展的3 大組成; 各產業領域的專家,建模數理理論,算力編程的提供及組織。 此外,最讓人擔心的應該是產業領域專家組主導的AI 開發, 他們開發AI的效率及精度都是最高的,而且他們非常淸楚如何使用及駕馭它,也因此容易造成有心人藉此做出違法犯罪甚至傷害人類的事。 而算力提供者主導的AI 開發,往往效率及精度都比較差,頂多只是多浪費點資源,失誤率高點,但傷害性不強。 大家思考一下,我們該擔心AI 算力提供者弄出來的作戰機器人,還是該擔心軍方專業人士主導開發的作戰機器人?! 特別是在敏感的專業領域,如核暴/氣象/大気動力/海洋動力/基因工程等等,我記得40 多年前,這些參與CIC(AI)建模的產業專家組人員,基本都被政府列管登記在冊。 因此整𠆤AI 產業的發展, 政府必須義無反顧的出面建立審核/ 監管機制,這樣才能確保有序/ 健康的發展。 而眼前無序的亂象也得以解決。
Part 1): 任何一條神經網路也是一個多變數廻歸分析,也是統計學迴歸分析的一環。我在40年前攻讀數理統計就涉及這些人工智能及多變量(含時間變量)的廻歸分析(向量/ 矩陣/ 線性代數/ 機率/ 取様….), 以便對一些事件做出精准智能的預測。 所謂自我學習或機器學習也只是用後面收集或模擬出的更新的資料去修正原先迥歸分析的杈重或係數參數而已。 而深度學習也只是處理巨量變數時,為了避免僅用單層機器學習進行巨量變數而需要解大矩陣導致對巨量平行計算的需求,進而變換設計成每層適量變數,建立多層次的機器學習修正。 40 年前人工智慧就是數理統計的一大課題。馬斯克說得一點都沒錯-目前的人工智慧全部建立在數理統計的基礎上。從那時開始就不斷有各行各業的數據分析專業人士來我們數理統計這參與並學習迥歸分析。他們回去後就不斷建立了屬於他們行業內的多條神經網絡(行業內的迥歸模型)。 在那時從事這類研究工作的數理統計的博士生全部被限制在晚上12 時過後才能使用國家級的超級計算機,否則我們兩三𠆤人一上線全部就大當機。我們那時也發展出一套類似挖礦機的方式,利用所有大量閒置的𠆤人電腦來提供其微小的算力,進而整合這些龐大的所謂分散型算力,但受限那時網路的不發達,很難把規模擴大。 近幾十年隨計算機能力不斷提升,目前市面AI 所謂大模型,主要是著力於面對”服務大衆需要”的所謂生成式/ 語言等等的智能協作服務。就是把百行百業各個領域等等數以千萬千億計資料進行迥歸模型的建立及修正(所謂自我深度學習)而形成龐大的神經網絡。 因此也不用太誇大眼下的AI , 這些早在40 年以前都已建構了理論基礎,而智能恊作早在各專業領域都已發展的非常完善,只是因過去算力不足只能在各自專業領域進行中小規模(變量數較少)的神經網絡建構。例如氣象預報就是早期最明顯的利用氣象專用超高速大電腦發展為成熟預測能力(AI)的例子,股票買賣決策也是智能恊作(AI/CIC)的典型。 ”把簡單數學上使用即存的規模資料或電腦模擬資料進行所謂的㢠歸分析/模型建構並藉此模型做可行的智能預判或恊作,包裝成醫學上複雜尚未完全掌握的神經網路的機制及作用原理”,不但瓢竊了數理統計在AI 發展的絕對地位,實在也是在誤導整𠆤AI 的發展。也會造成眼下一般人的過度期待和焦慮。應將AI 改稱作” CIC:Computer Intelligent Collaboration , 電腦智能恊作, 更為恰當。 何謂知識? 由經驗總結後( 抽象具體化) ,就形成知識(用數字分析的表達方式就是去建構知識模型)。 形成知識後就可複製/ 傳承/ 預測/ 擴展。因此目前的AI 發展,就是在循人類文明發展至為重要的其中的一𠆤過程-只是採用了數位化的方式,將經驗知識化了。 目前的AI 只是以數理統計為手段及方法論,以資訊及計算機工程為工具,進行數位型的經驗知識化的過程。 人類有許多其他不同型態非常複雜的智慧,這種僅止於知識數位化的智慧, 其實離人類多型態的智慧還有非常巨大的距離。 另外, 眼下AI 服務於大衆的大模型的各種數學理論及所謂的機器學習(參數修正)及深度學習(參數及變數的多層次增加及修正)。 早在40 年前相應的數學理論都已完備(但落實到實際應用上,如何解1 億 by 1 億的聯立方程組( 行列式計算), 這需要極其龐大的平行計算能力,在那時期是完全不可能的) 。 其實AI 最重要最關鍵的是各行各業各領域的專家組,而不是這些AI 編程的公司( 他們只是依需求用已完善的數學統計理論加以電腦編程後,利用巨大算力去幫忙找出合適的模型並不斷予以完善)。 只有各行各業各領域的專家組才知道在茫茫大海中的資料及訊息中,那些因素才是其所涉領域的関鍵變數,那些變數資料才是可做為他們收集分析建立模型的。例如氣象學/經濟學/股票買賣智能決策/ 醫學/ 藥學/ 農業生產/ 基因工程/ 化學工程/自動駕駛/飛彈防空系統/圖像識別及處理/ 建築結構力學/小樣品模擬模型(核爆/飛機失事)………..等等。 此外服務大衆的語言學也是極度複雜的一門學課,其可能的變量變因會高達幾千萬𠆤, 再加上多層級過濾學習修正的模式,因此其涉及的變數算力就以億計, 所以才稱做大模型。 要取那些因素進行那一層分析,主要都是語言學家在主導。 而這些眼下的AI 應用的公司, 只是利用已發展完備的數學統計理論在不同領域專家組的指導下,去有效的進行數拈收集整理分析並進而建立一個特定領域的模型,作為該特定領域的電腦智能恊作工具。
Part 2): 另外面對服務大衆的生成式服務,也是要面對大衆各種不同的需求,因此其所需處理消化的資料也是天文數字的龐大,也要各行各業領域專家介入協助指導進而形成並建立大模型。 其實生成式AI 可以理解成升級版的超級搜索引擎,傳統的搜索引擎,用関鍵字/詞,從數據庫內匹配/找出並羅列出可能所需資訊,現在進步升級到如果你給出更具體規範的需求,系統就能從數據庫內拼湊出並提供更完整的接近最終需求的服務內容。這只是把過往已存在的數據庫(已長年經各行業領域專家組維護並梳理過的)更完善的整理優化後予以呈現。而這𠆤更完善的過程使用了大量多層次的統計數字分析的手段, 把這個完善化的過程誇大的比擬成人類的思考及智慧(其誇大的目的-圈錢),將造成極大的誤導。 其實生成式大模型, 就是用即存服務於大衆的大型搜索的資料庫,如google , Bing 等等,以數理統計為核心,結合資訊工程及硬體工程為工具,而進行更貼切於使用者需求的優化過程和結果。所以生成式大模型最終會回到過往提供搜索服務的大型公司的對決。 因此CIC 或是AI 是以特定領域專家組為主導,數理統計為核心,資訊工程及硬體工程都是配合的工具而已。 這樣的發展才會健康/ 不浪費/ 高效率/ 高精確度。 但目前的發展方式, 以資訊工程及硬體工程來主導開發服務大衆的大模型,只是因為這方面天文級別的龐大算力需大資本投入,這是一𠆤比較理想的快速盈利回報的營運方式,但這種情況就會造成眼下嚴重的誤導及錯誤的認知,沒有效率及喪失精準度,甚至如當下出現諸多以提供算力及編程服務的所謂AI 公司出面圈錢的亂象。 其實眼下的蓬勃發展是假象。 不管怎麽發展,從事這𠆤領域研究工作的人不能不具備相關數理統計的知識,也不能缺少專家組對資料的專業的選定/收集/整理。而資訊程序員和電腦只是工具。特別在早期各專業領域內的中小模型的智能發展和恊作,編程只是工具。但當算力上來後,服務大眾的類搜索引擎的生成式及語言大模型,就變得可行了, 但不管怎樣可行,仍是以數理統計為核心,更龐大的專家組仍是關鍵。 只是這種大模型下算力變成稀缺的主要投資成本, 使得這些編程及硬體人員不得不高舉這𠆤旗幟來圈錢, 如果這些編程及硬體人員拿不出這些算力(如果由國家直接投資),他們在整個AI(CIC) 的發展上,根本算不上什麼角色。但這一輪由算力提供方來主導的AI 發展,將會走得很偏,而且會很快撞牆。 這些搞編程所謂AI 專家,其看待事物的内容實在令人啼笑皆非。 譬如: 看到報導某AI 頂流科學家,其模型在AI 大賽中,以16%失誤率, 遠勝於另 一AI 大佬的23% 失誤率,而得到冠軍。 a)殊不知數理統計迥歸分析的誤差要求是5% 甚至到3% , 一個誤差率高達16% 的模型,居然可以拿出來比賽甚至取得冠軍, 真不知這羣頂流AI 的外星兼外行的科學家在玩什麼遊戲?! b)人類智慧的誤失率基本都趨近於零。 任何事務的成果,都不是線性的。 這群AI 科學家居然誤導性的告知世人,宣稱他們現在誤差率已達16 % , 他們離成功不遠了。 殊不知任何人學習或做事務的成果,達到90 分是很容易的,只要多付出就可輕易達成,但90-100 分,那完全不是和努力付出成正比的,那是和天份及其他綜合因素有関,90 分後要再成長其難度是巨大非線性的。 人工智慧的誤失率16% 要成長到 人類智慧的0% 誤失率,給其500 年都難以達到。 另外所謂AI的算力,也多被這些台面上資訊及硬體公司給神話了,整𠆤AI 主要算力在解大矩陣行列式或進行矩陣相乘。 也就是同時或儘量同時計算(平行計算) y 千萬組的 y千萬𠆤數的連乘積或是乘積和。 極其簡單(小學算術程度)但體量龐大的加減乘除。 無任何高深複雜的計算。 GPU 可以當做兼為AI 算力工具,但是GPU 如果僅專用在AI 上,則已是超規格。 因此微軟搞出了這種純滿足AI 小學暴力算術晶片, 或是Tesla 的針對矩陣暴力運算的NPU 。英偉達的GPU一定要小心了,GPU 涵蓋應用面遠大於AI , 如果僅用於AI 算力工作,則晶片設計可採用其他非常簡化有效率的方式,而且成本便宜很多。 未來可能的發展模式: 1) 資訊及硬體工程提供集中算力設備及模型編程的開放平台,供各領域的專家組使用。 有點像當下晶片產業,各應用領域產業由專家組組成公司後,進行各領域的智能開發和應用(如晶片應用的design house,聯發科,海思等 ) , 而算力的提供及收費則由資訊及硬體工程提供(這需要密集资本投入,甚至國家力量投入,如台積電)。 2) 由於網路的高度發展, 另外一種提供龐大算力的方式,是由巨量萬家萬戶閒置PC 𠆤人電腦,各類雲,工作站甚至各𠆤大模型參與分散型算力的提供,恊作,整合,這也是需由資訊及硬體工程來實現的。
Part 3) 另外希能進一步說明為何這一輪由算力提供方來主導的AI 發展,將會走得很偏,而且會很快撞牆? 除在Part 2) 談及眼前這些所謂台面頂流AI 專家或團隊,粘粘自喜於眼前所謂模型誤失率16% , 殊不知在很多專業領域,16% 的誤失率,那可能帶來災難( 金錢損失, 人員傷亡, 大自然破壞) ! 例如,自動駕駛,氣象預報,股票期貨買賣決策等等。即便生成式模型,其誤失也可能帶給人們直接或間接的損失或傷害。 若不是由領域產業專家參與並主導的建模,要突破10% 誤失率,是極其困難的。 我說𠆤故事(不是在炫耀自己的賭技),大家也就明白領域產業專家的重要性。 我2000 年在香港公司上班, 每兩周回深圳家一趟, 每雙周末回深圳前,我會帶2 萬港幣去澳門葡京玩輪盤,每回我嬴到10 萬就走人,由珠海回深圳, 我次次去次次嬴,從沒輸過。 這就是有專業領域人員恊助的建模,誤失率很低,回報很高(投入少收益高)。 機率論是認為發生機率的事件是背後有些不明的隱變數,如果把這些隱變數儘可能的説明白,讓機率性的發生現象就會變得越來越小。 簡單的說,一個銅板正反面,前十次都開正面,第十一次開正還是反,數學家據於機率論的真蒂,告訴你一定開正面。因為從前十次已看出存在開出正面的未知隱變量。但一般人仍會認為正反各一半機率,甚至有人會錯誤認為連開那麽多次正面,這次肯定會開反面。 我玩輪盤下注前,一定會找現場的賭友看一下他們記錄卡上先前及近期是否有某𠆤特定數字常開出,若沒有,我會忍住不下注。一旦出現連續常開數字,我就立刻下注押這常開數字,以及輪盤面靠這數字左右各兩組數字,共5𠆤數字, 基本中率非常高, 可達到20% 押中率, 20% x35(賠率)/ 5( 押注數), 我每玩五次總投入是25 中一次賠35。 賺10 。 基本上2-4 小時達標10 萬港幣走人。 1)其實在現場賭友記錄卡上先前中球的數字就是領域產業專家去掌握數據的過程。 2) 我會解讀機率論,因此也是玩輪盤的專家。 因此我玩輪盤,就是具專業知識參與的領域產業專家, 另外我的投注策略,就是我建的模。 而眼前台面以算力為主導的AI專家,因為他們手上握有大量的算力籌碼,因此他們是次次都36 𠆤號碼全押, 所以次次都中, 但是每次總輸一𠆤籌碼。 這種暴力的押法, 就是沒有引入產業專家的結果。大量浪費算力在無味的押注上。基本上不是大力出奇蹟, 而是大力出爛成績。 另外眼前生成式大模型,最大的資料來源是取自提供搜索引擎服務的大型公司的資料庫。 而這些資料庫的data base 早已經過各行各業領域產業專家幾十年投入,進行維護梳理,並進行了多維度的數位標記。 因此目前生成式大模型真正的主要貢獻者是,各行各業領域產業專家幾十年的投入,進行維護梳理,並進行了多維度的數位標記。 所以缺乏產業領域專家主導,而由算力提供方來主導的AI 發展,可預見的是將會走得很偏,而且會很快撞牆! AI 的良性發展, 不是靠蠻力的大力出的爛成績。(把算力浪費在一些関聯性不高的變數上,不當不專業的取定變數) 而是要靠產業專家的巧力進而形成的大力出的好成績(奇蹟)。 AI的健康發展是以各領域專業專家組為主導,數理統計為核心,編程及算力只是工具,否則用提供算力及工具的這些人來leading AI 發展,會形成外行領導内行,並為AI 發展種下低效偏差甚至高風險的發展。 譬如新藥開發/氣象預報/各種不同語言等等都是以領域專家為核心,否則就亂套了。 更可行的作法, 各國加緊立法,用國家特准许可的方式,來認證並核准各領域不同應用AI 的開發許可及成效認證,譬如目前自動駕駛這領域,不能僅憑廠家自行認證,必需由國家相關單位認證,納入國家法規制約。其實其他領域也應該如此,即便服務大眾的生成式大模型也要納入規範管理,絕對不能任由AI 公司自行任意發佈,一個小電器產品都需有関認證,才能上市銷售,目前AI 大模型實在是太無序了,AI 公司任意上市推出由市場決定其優劣,客戶當白老鼠,完全沒有任何管理約束機制。 任何AI 應用開發的公司,必須有相關該應用領域專業專家為主導,及數理統計的人員的參與,如果沒有通過這些人員資質審核要求的公司或團隊,一律不得從事AI 開發及應用工作。否則視為違法。如同醫師證照,沒證照的醫師坐診,診所如何能執業?! 建立政府職能的審核監管制度,才能防止並追蹤AI 的錯誤使用/ 違規使用/違法使用, 也進而能排除人們對AI 發展造成危害人類的擔憂。 另外這也和在Part 2) AI 產業發展形成呼應。 AI 發展的3 大組成; 各產業領域的專家,建模數理理論,算力編程的提供及組織。 此外,最讓人擔心的應該是產業領域專家組主導的AI 開發, 他們開發AI的效率及精度都是最高的,而且他們非常淸楚如何使用及駕馭它,也因此容易造成有心人藉此做出違法犯罪甚至傷害人類的事。 而算力提供者主導的AI 開發,往往效率及精度都比較差,頂多只是多浪費點資源,失誤率高點,但傷害性不強。 大家思考一下,我們該擔心AI 算力提供者弄出來的作戰機器人,還是該擔心軍方專業人士主導開發的作戰機器人?! 特別是在敏感的專業領域,如核暴/氣象/大気動力/海洋動力/基因工程等等,我記得40 多年前,這些參與CIC(AI)建模的產業專家組人員,基本都被政府列管登記在冊。 因此整𠆤AI 產業的發展, 政府必須義無反顧的出面建立審核/ 監管機制,這樣才能確保有序/ 健康的發展。 而眼前無序的亂象也得以解決。
非常好
加油 加油
Thank you very much for the video, the explanations were very clear, and I learned a lot. Looking forward to your next work~
Glad it was helpful :)
激动万分啊, 也像 Andrew Ng 一样, 在咖啡馆里差一点就跳起来, 终于有中文博主讲解DPO了
😄 我也是 看到这么漂亮的证明满心欢喜;今天还看到meta家已经用这个self-rewarding的方法fine tune llama2-70b 说在一些benchmark上效果比gpt4好arxiv.org/abs/2401.10020
4NF没有讲清楚
我的理解是,就在k-bit quantization 的基础上,把参数再normalize下,欢迎批评指正
Hi Alice,我覺得這段4:20說法怪怪的,有一些誤區,小腦動的時候,大腦歇著,我們都知道小腦負責平衡,大腦負責思考等功能,所以按你的說法,我們站著的時候是不能思考的?我印象中左右腦、大小腦是採用協同合作,而不會一邊處於工作狀態、另一邊處於休息狀態。
感谢留言和指正!应该是协同工作,不是完全歇着,大脑和小脑相互补充
蟹蟹小姐姐分享
希望能介紹 llama 2 model 技術
好的!
希望可以介紹 llama 2 技術細節
I'm very curious to have English versions of all these videos that you have made :D And keep up the good works! You're doing great ^^
Thank you! Will give it a try next time :)
非常感谢论文推荐,请问你是如何选择这篇论文的?
我是先知道lora的,后面出了qlora自然好奇它两的联系 (不过最近这个月出了好多篇从model quantization角度来压缩LLMs的论文 e.g. zero++, squeezeLLM etc)
Thanks for sharing
支持!
Thanks for the good introduction of prompt engineering. ~6'22 's explanation a little bit wrong. left hand's answer 27 is wrong, but correct one is 9 but not 11. Point is the example's answer should be more "chain of thought" but not straightford answer, right?
hah you are right, thanks for pointing that out! 27 is the wrong answer with standard one-shot prompt; and the right side obtain the right answer of 9 with detailed chain of thought prompt. Sorry that my eyes skipped the lines there when i was talking
Tesla robot是什么呀?
en.wikipedia.org/wiki/Optimus_(robot)#:~:text=In%20June%202022%2C%20Musk%20announced,at%20Tesla's%20second%20AI%20Day.
谷歌的是急急忙忙做的,微软的是做了很久的,估计就是因为这个原因所以没法比
🐶家这波确实失了先机
@@AliceInAILand 追就是了,估计也没啥
很喜欢你的风格!你对ChatGPT和生命科学的关系的讲解真是太赞了! 期待着看到你发布更多有趣的视频。感谢你的分享.