【深度对话】人工智能未来发展的底层逻辑 ｜老石谈芯
ฝัง
- เผยแพร่เมื่อ 7 มิ.ย. 2024
- 我一直想做谈话类的节目，因为一个人的知识太有限了，所以我请大咖和我们一起聊。本期内容，我们就来聊聊现在越来越卷的人工智能，说说它的过去、现在和未来。
本期嘉宾：冯霁博士，创新工场南京AI研究院执行院长，倍漾量化创始人
0:00 大咖谈芯
1:37 AI创新遇到天花板？
3:38 AI算法并不只有深度神经网络？
6:19 数据「数字石油」的重要性？
7:44 【观点】数据隐私带来的新问题
8:54 【内存墙问题】AI算力与数据存储之间的鸿沟
10:35 芯片和硬件为AI量身定制？
11:04 【问题】AI领域是否会出现「AI原生」？
14:07 【问题】异构系统如何编程和控制？
15:45 【问题】AI系统，还有哪些创新方向？
17:26 AI的未来关键是落地？
17:43 【问题】人工智能如何落地应用？
------------------------------------------------------------------------------------------------------------------------------------------------
关于我：
大家好，我是芯片工程师老石，欢迎关注我的频道“老石谈芯”。
欢迎订阅👉reurl.cc/8ob9Ej
敲响小铃铛🔔，可以第一时间收到我的频道动态。
我会持续带来更多专注于芯片的科普、硬核知识、以及偶尔极度硬核的技术分析与解读。我也会不断分享高效工作和学习的方法与技巧。更多内容，也欢迎关注我的微信公众号、微博。也欢迎加入我的知识星球，和我进一步交流。
🎵 我使用的音乐/BGM：go.shilicon.com/epidemicsound
📚 我写的书：go.shilicon.com/book
📝 个人网站：www.shilicon.com
📚 公众号：老石谈芯
🏮微博：老石谈芯的老石
🌍知识星球：老石谈芯 - 进阶版
#老石谈芯 #科技 #人工智能 #AI #人工智能应用 - วิทยาศาสตร์และเทคโนโลยี
Part 1):
任何一條神經網路也是一個多變數廻歸分析，也是統計學迴歸分析的一環。我在40年前攻讀數理統計就涉及這些人工智能及多變量（含時間變量）的廻歸分析（向量/ 矩陣/ 線性代數/ 機率/ 取様….）, 以便對一些事件做出精准智能的預測。
所謂自我學習或機器學習也只是用後面收集或模擬出的更新的資料去修正原先迥歸分析的杈重或係數參數而已。
而深度學習也只是處理巨量變數時，為了避免僅用單層機器學習進行巨量變數而需要解大矩陣導致對巨量平行計算的需求，進而變換設計成每層適量變數，建立多層次的機器學習修正。
40 年前人工智慧就是數理統計的一大課題。馬斯克說得一點都沒錯-目前的人工智慧全部建立在數理統計的基礎上。從那時開始就不斷有各行各業的數據分析專業人士來我們數理統計這參與並學習迥歸分析。他們回去後就不斷建立了屬於他們行業內的多條神經網絡（行業內的迥歸模型）。
在那時從事這類研究工作的數理統計的博士生全部被限制在晚上12 時過後才能使用國家級的超級計算機，否則我們兩三𠆤人一上線全部就大當機。我們那時也發展出一套類似挖礦機的方式，利用所有大量閒置的𠆤人電腦來提供其微小的算力，進而整合這些龐大的所謂分散型算力，但受限那時網路的不發達，很難把規模擴大。
近幾十年隨計算機能力不斷提升，目前市面AI 所謂大模型，主要是著力於面對”服務大衆需要”的所謂生成式/ 語言等等的智能協作服務。就是把百行百業各個領域等等數以千萬千億計資料進行迥歸模型的建立及修正（所謂自我深度學習）而形成龐大的神經網絡。
因此也不用太誇大眼下的AI , 這些早在40 年以前都已建構了理論基礎，而智能恊作早在各專業領域都已發展的非常完善，只是因過去算力不足只能在各自專業領域進行中小規模（變量數較少）的神經網絡建構。例如氣象預報就是早期最明顯的利用氣象專用超高速大電腦發展為成熟預測能力（AI)的例子，股票買賣決策也是智能恊作(AI/CIC)的典型。
”把簡單數學上使用即存的規模資料或電腦模擬資料進行所謂的㢠歸分析/模型建構並藉此模型做可行的智能預判或恊作，包裝成醫學上複雜尚未完全掌握的神經網路的機制及作用原理”，不但瓢竊了數理統計在AI 發展的絕對地位，實在也是在誤導整𠆤AI 的發展。也會造成眼下一般人的過度期待和焦慮。應將AI 改稱作” CIC:Computer Intelligent Collaboration , 電腦智能恊作， 更為恰當。
何謂知識？ 由經驗總結後（ 抽象具體化） ，就形成知識（用數字分析的表達方式就是去建構知識模型）。 形成知識後就可複製/ 傳承/ 預測/ 擴展。因此目前的AI 發展，就是在循人類文明發展至為重要的其中的一𠆤過程-只是採用了數位化的方式，將經驗知識化了。
目前的AI 只是以數理統計為手段及方法論，以資訊及計算機工程為工具，進行數位型的經驗知識化的過程。
人類有許多其他不同型態非常複雜的智慧，這種僅止於知識數位化的智慧， 其實離人類多型態的智慧還有非常巨大的距離。
另外， 眼下AI 服務於大衆的大模型的各種數學理論及所謂的機器學習（參數修正）及深度學習（參數及變數的多層次增加及修正）。 早在40 年前相應的數學理論都已完備（但落實到實際應用上，如何解1 億 by 1 億的聯立方程組( 行列式計算）， 這需要極其龐大的平行計算能力，在那時期是完全不可能的） 。
其實AI 最重要最關鍵的是各行各業各領域的專家組，而不是這些AI 編程的公司（ 他們只是依需求用已完善的數學統計理論加以電腦編程後，利用巨大算力去幫忙找出合適的模型並不斷予以完善）。
只有各行各業各領域的專家組才知道在茫茫大海中的資料及訊息中，那些因素才是其所涉領域的関鍵變數，那些變數資料才是可做為他們收集分析建立模型的。例如氣象學/經濟學/股票買賣智能決策/ 醫學/ 藥學/ 農業生產/ 基因工程/ 化學工程/自動駕駛/飛彈防空系統/圖像識別及處理/ 建築結構力學/小樣品模擬模型（核爆/飛機失事）………..等等。
此外服務大衆的語言學也是極度複雜的一門學課，其可能的變量變因會高達幾千萬𠆤， 再加上多層級過濾學習修正的模式，因此其涉及的變數算力就以億計， 所以才稱做大模型。 要取那些因素進行那一層分析，主要都是語言學家在主導。
而這些眼下的AI 應用的公司， 只是利用已發展完備的數學統計理論在不同領域專家組的指導下，去有效的進行數拈收集整理分析並進而建立一個特定領域的模型，作為該特定領域的電腦智能恊作工具。
感恩！这个节目很好。主持人问的都是 to the point. 我有一个 开创AI 新领域的想法
对现在在做深度学习的我来说是醍醐灌顶👍
犀利的老石，已经能请到大咖了，棒棒👍 以你为目标，争取不久之后也回国，一起奋斗
老石的节目做的真是越来越好了。希望下次可以找一些和应用场景相关的创业公司过来聊一聊，比如很多自动驾驶公司小马智行momenta等等等等
難得的有深度的AI 探討，謝謝分享是！
從 cloud-native 到 AI-native, 相關技術正從已經發生的電信網路架構改寫、更進一步朝著無線通訊空中介面及頻率資源調配優化的方向探索
在這些領域中, 降低功耗的要求只會更高, 連帶著 edge 的分散式架構也跟著要被考慮進來了
这个大哥说的很不错👌 尽管我不知道怎么回事
大咖所答非所问
我也没搞太懂 他说的第一性原理出发，这是什么原理？为什么小区安防一个口接四个GPU不好？
@@yaxiongchen6101 我的理解是他意思成本太高了，不如1000几请个保安。小区很多摄像头好几个门。而且我也觉得他经常答非所问。
@@yaxiongchen6101 专业的低成本小算力芯片，类似于vivo的马里亚纳海沟海沟芯片。或者地平线的旭日X3之类的
牛B，这个嘉宾没有废话，字字珠玑，访谈类节目很取决于嘉宾的水平，有些水平不会表达，冯院水平高表达又好，牛B
越來越有深度的探討AI了呢，覺得非常有棒助，謝謝老石。期待與吳恩達Andrew的深度溝通。
太喜欢这种谈话形式视频了
大赞！！！希望以后多多出这种大咖访谈！！看的真的太爽了，感谢老石！
非常好
太厲害了 感謝分享！
16:35 我想老師是想說軟件工程2.0 是類比造機床
期待稚晖君 哈哈
推
也蠻值得談談Moore's law的延續，必竟現在的技術門坎也是越來越高了，要打破物理限制不是那麼簡單的事，製造方面可能在transistor 堆疊還可以勉強在以倍速的方式增加算力
等到量子计算普惠的时候,应该可以实现手机或者更小的终端跑AI模型.
有没有机会请老狼来聊聊BIOS
很喜欢这种方式
我也覺得這種對話挺好，可以從各種不同角度看
为您点赞，哈哈哈
看准确率99.41%到99.44%是只有0.03%的提升。反过来看错误率，却是接近10%的降低啊！难道可以说单晶硅从99.999999%的纯度提升到99.9999999%是不到百万分之一的纯度提升吗？
如果面对的是现实中的任务的话，从99.41提升0.03%确实是很有意义的，但是不幸的是这篇论文提升的指标是cifar-10，是6万张分成十个类别的图片分类任务，0.03%意味着在六万张图片中多认对了18张图片。而且这还是实验室环境，而非现实世界。所以说他没有什么意义并不夸张。
@@yiweisun7593 还是同样的说法，0.03意味着在三百张分错的图片中少分错了18张。怎么说也不能是小提升。
冯霁博士是周志华老师的徒弟~ 听君一席话胜读十年书啊~
学到了federated learning
很好的節目，可惜我中文術語不夠好，聽不懂，可惜了
数据质量变的重要了，说明又回到了业务专家的重要性
我个人是搞AI FPGA的，软件硬件通杀。我只能说软件硬件缺一不可，架构再牛也得靠软件的辅助才能达到高性能，尤其是实现落地更需要在软硬件上并行优化。
算法，算力，数据缺一不可
我更加關注芯片，比如神經網絡芯片，fpga，和各種專用電路
馮老師講得太好了！很少有這樣直白坦承的分享，大廠還是繼續吹捧神經網路如何神奇，然而說到底仍舊是最簡單的統計加上希爾伯特空間而已。如果想要有真正的突破，數學上一定要從簡單的泛函分析上升到更複雜的例如說幾何分析才行～
@@xlgnepo 非常贊同，基本上都是話術，從來沒什麼學習可言，古代叫做類神經網路，聽起來土裡土氣的所以後來換個名字叫機器學習／深度學習，一下子B格就高起來了lol
AI业界普遍都没想到2022年12月就横空诞生了chatgpt,人工智能有了一个质的飞跃
太棒了
AI lab 会消失这个观点的比喻太妙了，就像30年前有英语专业，现在英语专业的都要修一个第二专业因为大家都会了
投入這麼多的成本換取的進步值得嗎？
制作可以制作机器人的机器人。第一个在我脑海里冒出来念头是天网
这个视频打脸了，chatgpt发展太快
只能说是在 chatGPT之前的阵痛期，大家都在耗
太牛逼了 AI要先工具化 才能走入寻常百姓家
干货还是不少的
一切都是pcie带宽怎么压榨干净，哈哈哈
没有电力怎么玩
硬核
創新突破，學術界擔起，然後給創新工廠用...
影片風格改了!!這感覺不賴~~
人工智能，有可能为计划经济提供可行可靠的解决方案。
chatgpt出现之后还这么想吗？
其實只要看人腦的蛋白質計算機結構可以如此的複雜思考，就知道目前的需要大量計算力的深度學習演算法應該不是正確方向，但還需要更聰明的人出現吧
想问一下，从产品参数来看，ＳＧＸ目前应该是被Ｉｎｔｅｌ“暂时抛弃了”，老石怎么看这个事？
Data-Driven 的神經網路就是拼誰擁有更多算力、更多標籤資料。
所以看到57,000鎂換0.03%的進步這段真的很有感觸，這真的是我們想要的AI發展方向嗎？投入這麼多的成本換取的進步值得嗎？
說實話我們現在的發展的神經網路，和真正的人工智能還有很大的差距，人腦平均功耗約是30W，就能夠做出這麼複雜的邏輯推理、跨類別的精密任務。
雖然神經網路在圖像辨識準確率已經優於人類，但是模型需要的功耗一定超過人腦，而且該模型只是用影像辨識，不像人腦一樣有超低功耗+高通用+跨類別的超強學習能力。
拼算力和數據集的邊際效應已經趨近於0，期許AI領域的大佬們能把精力投注在的新的思路上。
AI和人脑各有各的优势，就算功耗高于人脑，但是芯片的强度远高于人脑，为了这个强度牺牲一点功耗又能怎样了。而且降低功耗还有其他的方法，为什么要在芯片上钻牛角尖
早兩天就左medium看到一篇文章，説學界在這種成熟的技術上浪費太多時間，反而transfer learning/active learning 等有望突破的技術沒有太多投入
我没记错的话jeff有回复说他们的工作在于探索通用人工智能，他们花的算力不是生成一个task的模型，而是多个task，所以说5w换0.03不全面
@@someoneinhistory 能給連結嗎？想看看原文
但是那个paper本身都已经是99.43%了，当然提升空间就不大啊！在很多field，特别是video领域baseline还很低，视频说法有点以偏概全
这个是“面对面”吗？感觉不是啊，哈哈
大咖回答问题都是这么高端嘛？ 格局是不是有点小了？
其实感觉目前所谓的 AI 落地什么的还是在很基础的应用层面。老石所说的这种统一平台，统一标准的制定是上游企业的事情。目前所谓的落地是在最下游，都是应用层面的，比如一个具体的 app. 中游是算力提供商，比如微软，谷歌这类巨无霸，他们的业务是挖不动的。老石更多的是关注整体，比如平台，标准，以及上游对下游的影响和发展趋势。受访者反而关注最下游的具体项目。感觉这种分析分享能获得的信息太少了，因为就没在一个频道上。
如果有一天人工智能🤖️有自我意识！能危险到人类社会吗？！
前面几个问题还是能有些收获，后面几个问题，嘉宾的回答契合度不高，没有关注问题本身，而是泛泛而谈就过了，过多的Intel产品介绍。
在Chatgpt出来的今天,再看冯博士的这期观点,显然落后世界太多了....
现在看起来, 虽然只发布了一年的视频, 却落后了一个时代
此男典型的中国技术员，什么都要必须学会😂
工业ai 就不是个人该做的事，技术落地重要的是独特性而不是堆算力…
降低商用成本才能推动AI落地
关于功耗和“人工智能与人脑”的对比，其实只要简单地这样对比： 如果你需要翻译一万字，用人类可不能只计算这一万字的成本，你需要培养一个翻译人才，从生下这个人，到让他学会翻译，需要花费多少能量？如果你需要在相同时间内翻译一亿字，那么你就需要培养一万个翻译人才，这你又要花费多少能量？如果你需要翻译一万亿字呢？难道你能够培养一亿翻译人才？训练一个机器翻译模型呢？再仔细想想？五万美元的花费在谷歌scale面前不值一提。
所以说scale才是人工智能的根本出路，大厂最终将垄断和碾压人工智能领域。很无奈，但这是必然。
客观反映：谢谢老石谈芯平台给大家分享有关 AI 这个相当热门的话题。其实，凡是人类手中所发明出来的一切非天然产品，都胜不过天然的创造，原因是技术和智慧的差别。人类可以给 AI 供应大量的数据和技术，好让 AI 能够更加精准的反应和给予答案，可是人类却无法给 AI 制造一个天然的智慧，因为这个部分是属于创造主（上帝）的版权。之所以这样，人类手中所发明出来的产品，往往都会出现美中不足之处，而且还常常会被 “利用” 来毁灭人类自己，因为还有许多人还不知道 “阴谋论” 的存在性。原本，李开复先生对于 AI 的启蒙发展是绝对健康的。可是那些潜伏性的 “阴谋” 危机，也的确在隐隐约约中浮现出来。例如：利用 AI 的发展来搞人类灭绝活动；又或者被利用来取代人类；等等。求神怜悯帮助我们地球人。神是爱！佩（贝）玲笔。🙏🏻💕🌻🌎💕🌈
谈得很好，下次您编辑视频，不用去加上这么多stock clips,
要摩尔定律的加持? 这是懒惰思维, 意思就是，算法就这样了，要更快，就等更强CPU/GPU吧。其实现在 还是有提高空间的，深度学习的在GPU 上仍旧属于线性计算。有人在尝试用模拟电路芯片实现真正的异步矩阵计算。 我看更有前途。
呵呵，那你以为呢？难道速度更快不需要更强大，算力更高的GPU和APU吗？难道只是简单的C语言，或者RISC-V，就可以使得大量的交互数据被读取和写入吗？再你眼里，可能硬件工程师不如软件工程师的1/10。但是很可惜，没有硬件，再好的算法也是没有办法实现的。
@@thomassui4879 我没说不要硬件吧，我说把希望放在摩尔定律上是懒惰思维，有那么多发展方向，比如模拟电路芯片，这难道不是硬件？ 苹果M1 加入了那么多协同处理器难道也是靠的摩尔定律？如果是的话，intel 早就翻身了。
提到ai创业，ai的初创公司现在的体量其实都不小，创业成本高，用户成本也高。而一个行业能真正的起飞，最终还是需要成本的平民化。想听专家们聊一下ai行业成本降低的路径方向是什么样的？另外创业公司在这个过程中的角色是主导居多，还是炮灰居多？
客观反映：当人类在发明一种产品时，优先次序应得从人类的益处为出发点，而不是以谋财/谋利为首要条件。先了解人类自己之后，才来发明产品也不迟。这样一来，人类手中所发明的物品，就不会伤害到自己（严重的还有可能会毁灭人类）。那么要如何了解人类自己呢？🤔 从创造我们人类的主（上帝）那里来了解人类自己。求神怜悯帮助我们地球人。神是爱！佩（贝）玲笔。🙏🏻💕🌻🌎💕🌈
作為一個商學院出身的Data Scientist，我十分同意商業應用>技術的這個觀點，很多工學院出身的朋友就是不明白這點，然後抱怨為什麼我們搛的比他們多😕
但是没有技术就没有应用，当然商用才能使技术最大利益化
你比张小龙赚的还多么
@@LaRenard 當然，我意思是不用太注重技術本身，夠用和實用更重要，就好像有些人傳統ML就能用更低成本解決的問題非得要用DL
@@solohan7071 微信不就是一个典型的商业化大于技术的例子，被那么多人骂那么多人吐槽落后，但依然是妥妥的中国第一社交软件
@@erasersc5509 用自己的上限来比人家的下限，张小龙住地下室的时候。一个的士司机都比他收入高吧
现在人工智能基本都是靠堆更高精度的模型数据，算法只是做减法。数据越多越准确
把未来方向讲讲清楚好么？人工智能未来落地唯二领域：1.汽车 2.手机。工业互联网，一条死路。商业讲的是利润。
这个视频几个月之后出现了chatgpt
还是有些专业
AI第三次行业低谷已经到来，标志就是AI lab首席们纷纷离开工业界回到学界，或者像NG一样，开始卖铲子了。
有杨澜那个范儿了，嗯，还好不是朱军那个范……哈哈哈
我做深度学习这一块，说得难听一点，我觉得这个行业就是“衙门口朝南开，没钱没势你别进来”。
if you can't prove P==NP, then AI is not possible,
?
AMD與Intel都發表第二季財報,老石這次怎麼不想再吹Intel?因為Intel竟然可以把毛利很高的晶片公司搞到虧損,最搞笑的還是推給經濟不好,那奇怪了AMD為什麼就能持續大幅成長?
Intel第2季營收下降22%至153億美元，創下逾十年來最大衰減，淨損4.54億美元，而上年同期淨利57.5億美元。Intel業績不如預期，CEO推說是受到經濟的拖累。但AMD 第二季營收金額為 65.50 億美元，較 2021 年同期 38.50 億美元成長 70%，淨利潤為 17.07 億美元，較 2021 年同期 7.78 億美元成長 119%。結果AMD股票市值反而超越營收仍然較高的Intel，對Intel股東是巨大的打擊。
換言之，主要是Intel產品不如AMD吸引人，尤其是資料中心的伺服器晶片，很多需求持續被AMD搶走所致，又加上Intel自製晶片成本高居不下，導致Intel毛利率大幅衰退至36.5%(原先57.1%的水準)，相對地AMD全部都委託給台積電代工生產晶片，毛利仍有54%。
AMD Q2各部門狀態:
資料中心部門 (含伺服器晶片、資料中心 GPU、Pensando 和賽靈思資料中心產品)：15 億美元，年增 83%
用戶端部門：22 億美元，年增 25%
遊戲部門 (含繪圖晶片和半客製化遊戲機產品)：17 億美元，年增 32%
Intel Q2各部門狀態:
資料中心和人工智慧事業事業部門: 46 億美元，年減 16%
客戶端運算事業部門: 77 億美元，年減 25%
網路和邊緣運算事業部門: 23 億美元，年增 11%。
请毕然来聊下
千祈不要，萬萬不可給 AI 法律身份，將來人類同Al 打官司好無保障，因為AI永不休止跟人類爭取自身權益，將來人類社會利益必然構成災難危機。
虽然标题是人工智能的底层逻辑， 但采访对象谈的都是现有技术的工程应用方面， 根本没触及什么深刻的内容
国内的人有多差在你节目里全暴露出来了😂
太硬了
copilot 就是落地
落地為王
这是intel的恰饭视频吗？
老石好帅，好性感
听不下去，更看不下去，不是我们的老石了
鄙视人工智能
快走，泰坦尼克号上头等舱也不好使。崇祯年当了内阁首辅也不能光宗耀祖。
一个芯片工程师有必要把自己装做一个访谈节目主持人么？
显然老石不想只拘泥于做一个芯片工程师才回国的吧
做這樣的視頻還能上班嗎！？
回国之后节目质量直线下降
he has to kiss ass of fake experts whose only skill is to come up some word salad, not uncommon in China
离生态越来越远了
人在江湖 身不由己 老石是明白人
愛看就看 不愛看就算了
不明白你为什么这么说。老石显然是在尝试新的方向 而这和国内工程师的个人发展路径是高度契合的。先是着眼于底层技术细节 然后是技术前沿 然后是产业状况 然后是产业前沿。如果你觉得不和你胃口了 可能是因为节目的发展和你自身的发展已经不在一个阶段了。并不是说一辈子着眼于底层技术有什么不好 只是这是国内比较浮躁的风气和历代以来儒家思想重权威的文化 决定了在国内即使在工程师文化圈也是重管理层轻工程师 也是一种比较悲剧的现象。
多谢。
一句有用的都没说，说的都是如果，可能，最好。说的比唱的好听。中国的ai就这群人搞，完球了。
可惜資源都在這些人身上
但国外的那种花57000美元提升百分之0.03就真的值得吗
@@jason_huang 花的都是中国的外汇储备，有什么不值的。
@@jason_huang 完全就是浪費錢而且是很可笑的
有价值的信息几乎为0，而且有几个问题答非所问。看了下倍漾量化对外宣称的年化回报率才30%。额，感觉纯属浪费资源。
这期内容后半段非常好！有很多一语中的的明确指导
问题和回答都太理工了，听不下去！😖