一口气看懂GPU生意：为什么英伟达能一家独大？
ฝัง
- เผยแพร่เมื่อ 25 มิ.ย. 2023
- 英伟达是如何拿下AI这座山头的？为什么GPU的需求量越来越大？这期视频，技术+产业，一口通吃。
===广告赞助===
👉富途moomoo US开户需SSN：j.moomoo.com/00x9A6
#大刘 美国观众额外加码福利
最高16股！
1. 开户送1股赠股,+美股LV2行情
2. 入金$100送4股赠股
3. 入金$1000送10股赠股，每股价值高达$2000
4. 入金$3888送一股苹果股票--频道专属活动
0佣金交易美股，免费深度摆盘，50万美金资产保险，一个账户交易美港股，中文客服
#大刘 澳洲观众点击该链接，入金AU$2,000送10股！
j.moomoo.com/00x9A6
#大刘 东南亚观众点击链接，最高可获得SG$208福利！
j.moomoo.com/00x9A6
开户入金问题，香港及其他地区的观众请加微信咨询：
👉富途moomoo客服微信：N333303 （大刘科普观众加好友时请备注2获得频道专属福利） - วิทยาศาสตร์และเทคโนโลยี
1，TensorCore就是DSA，会带来软件生态的碎片化，CUDA当前支持就非常吃力
2，AMD有Brook+和Rocm，HSA起大早赶完集，收购ATI 动作慢了
3，最开始用GPU 做AI的是亚马逊工程师，然后是吴恩达，然后是alexnet
4，AWS，微软，谷歌云厂商都自研AI训推芯片，纯GPGPU市场空间被压缩
5，DPU/IPU没有像GPU一样的独立赛道，P公司被AMD收购，M公司被Nvidia收购，F公司被微软收购
请问“最开始用GPU 做AI的是亚马逊工程师“，这项指的是哪个工作？
@@maxxu8818 Kumar Chellapilla用GeForce 7800第一次实现CNN，当时CUDA还没有出来
@@xiaolong1742006年 kumar 发表High Performance Convolutional Neural Networks for Document Processing 的时候他在微软任职
N廠GPU礦機或AI都將不會是龍頭，
因為礦機有專用的晶片，
AI已有矽光子的低電高效的成果
谢谢大刘分享，视频功夫做得很深。
太喜欢这期视频了！！反复温习！！
講得很好！很容易明白！
虽然我看不太懂，但是很感谢up的分享，学习了很多！
这集信息量巨大啊！一下子让我理解了几个概念。复习和考试的比喻太绝了！
大刘真不错，我已经当bgm听了
节目精彩，评论也精彩
吼吼，沙发，最近发现这个youtuber科普的，不错，赞！！！！
非常给力，干货
TensorRT不是用來轉換FP16的，PTH模型也可以用FP16推理，TRT也可以用FP32，TRT是將模型重新編譯來加速，主要是將Layer結合，增加平行處理等方式來提高GPU利用率，達到加速推理的效果。
說得贊!
确实GPU不是专用的AI工具，之所以GPU比CPU强，是因为核心数量和内存带宽，也可以理解为同样面积下能放下的核心数(制程影响)，以及内存和核心物理距离的远近(带宽，苹果内存的带宽就比PC的高)。专门用于计算AI的硬件是要根据算法设计的，一般硬件设计制造估计需要1-3年，需要投入巨大，一旦有新的算法产生，那么投入就打了水漂。所以考虑到训练阶段的通用性，还是多投资GPU，而成熟应用则可以设计功耗更小的特定功能的推理芯片。
不要只谈硬件，软件也对算力有很多贡献
@@user-renpeng 软件到没啥难度，关键是生态，就国内这个内循环玩儿法，你绝的有戏吗？
@@datawu9283你觉得有什么选择么？
开放呀，总希望别人开源，那自己就要先开放和比自己强的人做朋友。改革开发不就是目的是开放。为了吸引外国人和外资当然也就有外国技术了，改革就是改变自己变成外国人喜欢的样子吗。@@geoffreyzhao4378
你说的核心数是指单位里头的transistors数量吗
大刘有空讲讲特斯拉dojo吧
我并不认为Nvidia碰上AI是运气，其实AI是可以预见的，你比如游戏里很多场景是不需要单精度那么精确的浮点运算的，半精度或者四分之一精度足足够用，那么这种粗略但快速的计算模式就一定是被需求的。就比如人类看一眼桌子并不能计算出来桌子的长宽，但可以大概知道桌子的大小，但这就足够了，这也是AI做推理所需要的。
台灣🇹🇼之光😊
请做一个AI 或者chat gpt 可不可以期待工业编程 PLC控制器
大刘老师讲讲光学卷积芯片
Learning is earning👍👍👍
不是nvidia采用了sgi的技术体系，而且所有gpu显卡都是学习了sgi的技术，因为sgi是第一个搞图形工作站的，第一个开发实时图形工具库graphics library，即后来的opengl。而非实时软件三维绘图技术早在sgi之前就发展了十几年了，绘图算法都开发了很多，像pixal的renderman，早就在做电影动画了。nvidia真正采用比较多的结构是第一个在pc上做gpu的3dfx的voodoo卡，3dfx被nvidia收购了，此后nvidia才大发展。
最早是根據 opengl 設計的。
當年的侏羅紀公園的3d就是在sgi的工作站上畫出來的
国家科技高级顧问.🎉🎉🎉👍👍👍
谢谢一个这么详细的解说。我想问一个或许跟这个没有完全关系的问题，就是AI的应用上的问题。我现在在一间银行做一些数据的分析，如果银行也要应用AI， 那他们需要也建立属于自己的语言model吗？也需要买那么多的GPU吗？还是银行可以直接用一些大公司已经做好的语言model，然后把属于自己的数据提供上去就可以了？
粗浅的科普视频，却非常有自信的说很有深度，哈哈
真酸，酸味都溢出屏幕了😅
人家说得很好。恰到好处，还让人明白。
@@JCBJHD😂还有一些我听不懂
大刘最近好喜欢用“冗余”这个词
說白了，就是distributed computing 和parallel computing 的運作。不過，AI 是指泛智能的人造系統，不限制於Von Neumann 型式，所以發展空間無限，有限的只是人的腦袋。
百度十几年前就自己做GPU，所以没有参与抢购英伟达芯片，黄仁勋在2018年之前和百度合作非常密切，李飞飞，吴恩达也曾在百度任职
格羅方德2012年那時候好像就被併購好像是賣給台積電，我在桃園職訓局遇到一個優退有競業條款的，除非...這10幾年有變
thx
最近比较期待沐曦的产品
可以介绍一下NPU和GPU的具体区别吗？
具體區別就是
GPU的核心 如果像家用電腦
那麼NPU的核心 就像家用計算機
都是如同大型網咖一樣大小 擺滿核心的情況
NPU的核心設計更簡單 能塞得更多
因為AI的運算 都是重複 且循環的
所以 NPU相比於原本CPU和GPU 計算一次 立即導出結果 存儲於閃存 等待下次計算的方式不同
NPU計算出結果後
可立即直接將結果導入到輸入端 再次進行運算
而無須經過閃存 進一步減少計算延遲
針對遊戲優化很麻煩 等市場做大了 兩邊有配合才好搞
如果有組織來建立通用的AI計算平台，設計商只要依照規範設計晶片運算卡的話的確挺有可能從未來的AI市場分得一杯羹的。
畢竟NV卡貴又一卡難求，CP值較高的計算卡應該還是很有機會的。
不過OpenCL都下去了 要新起一個感覺挺困難的。
nv的卡不仅仅是cuda架构强 其特有最高能达到2T/s的带宽技术,让其他厂商感觉太绝望😂
onnx对ai模型的抽象就很好,各家厂商不必规范底层指令,毕竟现在百家争鸣的时代谁也说不上谁家的指令设计是最优解,不如以图为兼容层,底层靠各家的理解自行发挥
THE BEST MASTER
苹果的M系列芯片的能力可以看看
其實他們只是把原先像素圖面數學運算採用的演算法「晶片化」，很多生產AI晶片化的公司，並不完全瞭解或掌握整個數學運算，在相關設計軟件的協助下，可以快速轉換為實體晶片，這就如同早期設計CPU，就是使用一套軟件系統將IP描述語言直接晶片化，其關鍵不在AI晶片，在數學演算法的IP provider。
那这套 IP Provider是 NVIDIA CUDA上面的接口吗？如果google 那样的专业 TPU, 是不是无法运行 IP Provider?
@@darknesslight3593NV禁止cuda 被其他公司轉譯，AI爆發期 要自己搞一整套生態 太花時間 只能拼命搶nv 的晶片
谢谢分享，信息量太大，可以分两到三期讲细一些。
可以讲讲光学卷积处理芯片吗？
还想提一句，张量和欧几里得空间上标量、向量、矩阵地关系是，张量是向量空间相关代数对象集之间地多重线性映射，在同构（线性变换可映射和逆映射）意义下，n维空间的0阶张量是标量，1阶张量是向量，这个向量是n维欧几里得空间中的向量，2阶张量是矩阵，类推3阶是立体矩阵，即矩阵数组，等等，不是什么1维张量，2维张量...
Zzzzzzzzzzzz.
NVIDIA用的开放的生态系统
我的天，牛
能否讲一下M2 Ultra ？ 再比较一下，谢谢
開頭說的遊戲顯卡只是出貨大，我並不能認同。要知道許多專業顯卡就是為了進行遊戲開發的
Riva182的代号是NV3，不是NV4
另外所謂AI的算力，也多被這些台面上資訊及硬體公司給神話了，整𠆤AI 主要算力在解大矩陣行列式。 也就是同時或儘量同時計算（平行計算） y 千萬組的 y千萬𠆤數的連乘積。 極其簡單（小學算術程度）但體量龐大的加減乘除。 無任何高深複雜的計算。
GPU 可以當做兼為AI 算力工具，但是GPU 如果僅專用在AI 上，則已是超規格。 因此微軟搞出了這種純滿足AI 小學暴力算術晶片。英偉達GPU一定要小心了，GPU 涵蓋應用面遠大於AI , 如果僅用於AI 工作，則晶片可以非常簡化。
中国不进行政治改革，不太可能发展ai
印度改革了，为什么印度没？你知道为什么？
你的脑子不挖出来。你是想不明白中国为什么可以
功夫做得很深
😂太厲害了 雖然不懂
你好，大刘，你是山东人吗
当然3Dlabs也是间接促成elsa和nvidia的合作
軟件公司如何用英偉達的晶片賺錢？
这个模型在回答问题的时候，不具备联系上下文的能力，每一次都是单独的问题回答，和chat GPT比起来还是差远了
GPU是矩阵方式计算！
好久不见
那NPU?
AI的分類很多,英偉達的AI只是側重在圖形對比,看兩圖的異同點,而把這圖形歸類為庫中的何張影像,再去判斷這圖形可能為什!!AI還有文句分析,還有文句和圖像連接,動態背景處理,還有聲音處理,還有速度等真實物理量的判斷,英偉達的AI應該是特用AI功能!!
早期確實是圖形,但英偉達在吃過微軟與INTEL的虧後,就知道要把這個運算加速功能做到廣泛運用,這才是讓英偉達直線加速起飛的原因,因為這是AI的基礎
分析有理，講解還不夠充分？
還有曾經紅極一時挖礦沒提到
GPU有很多技術前沿都是來自AMD，但是因為AMD對軟體跟驅動的投入不足，每次都是起大早趕晚集
驱动一直55开。但N卡性能压A卡一头。
好比英特尔i3默秒全，技术层面英特尔英伟达强过AMD 。
因特尔才是稀里糊涂浪费十年. 你问他在干什么,他说正在挤牙膏
@@user-ry5fe2uj8z 你很年輕吧，intel很早就承認，他們對於軟體層面的投入是大於硬體的，甚至自稱"與其說是硬體公司，他們自認更像是一間開發軟體的公司"
以前A跟N確實有驅動55開的年代，但是自從ELSA驅動團隊解散被NV收購開始，NV的驅動跟軟體投入之成功，就已經是AMD難望其項背
對他們這些硬體開發公司來說，硬體開發從來就不難，難的是這個硬體的驅動優化跟拓展的應用廣度
@@user-ry5fe2uj8z AMD在軟體面上最接近NV的上一次，是Mantle問世
之後就又再度落後
@@user-og6rm7bu1q 难道你不知道牙膏厂由来。就是因为AMD全面不是对手太寂寞了，养着玩的，NV也是同理。如果没有反托拉斯法，amd早凉了。
老黄不厚道,游戏玩家一直在支持他,我前前后后买了不下5万的显卡,从6600 到 960gt 980gt 260gtx gtx980 rtx3090 rtx4090 ....老黄转身就背刺了臭打游戏的~~
老黄：游戏卡交个朋友，不赚钱
牛市牛气冲天往上冲，当股市达到热烧feverish state，动作从低调、泰然自若、镇静、沉着走向高调、glamour、兴奋、梦幻，下一个阶段值得注意。
许多企业、大老板都有类似的过程。
通常，闷声大发财。
NV更往AI和HPC分化的芯片出来了H100
不对不对，游戏显卡营收好像占比还挺大的。
大刘怎么啥都懂！不得不赞一下
他不是真懂，他是假装懂，只不过你测不出来他不懂，他是个科技AI
其實就是 chatgpt 原音念稿員😂
不是他很懂，而是你太不懂，他说错的地方你也看不出来。他要真懂，还用在这里说教？早就去做东西赚钱了。
沒想到在這兒聽到 IEEE 754
另外SGI是以前鼎鼎大名的公司。和SUN，IBM差不多的公司。
SGI公司是2009年进入破产保护，Rackable Systems 公司于 2009 年收购了 SGI公司，并更名为 (SGI)。后来SGI又由HPE公司收购。又及！
大刘有点东西啊😂
你少提了tesla的dojo
又是一期天书呀
在没有gpu情况下，只要cpu带显存，那电脑也可以启动。但在没有cpu的情况下，gpu再好也没法启动电脑吧？！
当初学AI的时候，觉得叠加十几层的逻辑层哪有芯片能算出答案
NTN2卡超跨時代
3大因素，资金、技术、美国印钞。资金重于技术，脱离技术的根本，游戏进入新阶段。
gpu受歡迎是因為他的驅動是免費的 專業卡的驅動都是訂閱制的
有自己配套的开发库CUDA，高计算的都知道英伟达的优势在哪，自己写的代码很容易移植到显卡上计算。
来问博主个问题，在中国软件生态构建非常困难，技术难点到底在哪里？一个苹果公司产品和各种配套工具都能自己开发，把applestore生态建起来，说明技术上是能实现的，中国到目前到底哪个地方被卡住了？有什么办法解决？另外提一句，既然是讨论科技，不要总是把公司当前市值、销售额掺乎进去，那个和技术没多少关系，要多将技术细节上的科学原理，以及可行性和发展空间，能讲清这些才有说服力。拿小米和英伟达比就不合适，小米就是搞销售占市场，技术上没核心东西，都是拿来。英伟达是自研技术引导发展，基础是把计算理论研究地深入，而小米只想赚快钱，不好好学习。
自己构建软件生态，很重要一点就是先发优势和创新精神。 中国体制还是国企为主， 民间涌现的高手还是太少了， 而且高校的科研精神还是比不过国外
@@penghe-lk1yq 同感。所以不是技術難點的問題，是教育跟商業競爭問題。有競爭才有進步，被保護起來的企業會失去競爭力。
M1晶片
一个字：微架构
訊息量太大了
游戏挖矿ai, 计算计算还是计算
我猜大刘是理工科博士，富二代
最近那个杀人判刑的也是理工科博士，富二代。
美国押注AI赛道，英伟达正好处于这个核心地位，所以股票会疯长。背后有金融操作的影响，目的当然是要让美国在AI领域保持大幅领先，这当然需要在这行投入以及吸引大量资源。相对的中国押注的是新能源领域。两国将在相当长时间里在各自选定的领域以各自擅长的方式投入资源，保持技术领先
特斯拉不是新能源？
@@ceng4804 上升到国策层面就不只是关于个别技术或者企业的事情。是要把这个产业从头到尾的每个环节都研究和实现，要能实现还要降低成本能商业化。AI和新能源都是各国争抢的高地，但是在新能源的制造环节美国避不开中国，美国在AI领域掌控能力更大一些，他们能自主掌控产业未来发展和应用。中国这边很显然芯片暂时受制于人，即便将来自主了短时间内也不具有先进性。根据中国自身的状况新能源是可以独立发展并建立优势的，还可以改善能源的进口依赖问题。美国一开始也是想在新能源上发力点，但是中国后来者居上，发现绕不开中国因素，就开始发力AI了。特斯拉没问题，但他得来中国。
是什么让中国人产生中国在新能源上具备大幅优势的错觉？不是一个靠产能堆出来的电动车产业就是新能源的未来的。电动车天花板就在那儿，时至今日没有丝毫颠覆传统汽车产业的迹象。倒是氢能源一旦成熟将颠覆传统汽车和电动汽车市场
@@kellywilliam6726 是什么逻辑认定新能源等于电动车
如果以赛道比，中美就好像百米跑步，中国还没起步，美国已经跑出去50米。其实AI领域涉及整个芯片软硬件领域，中国能追到现在这个位置紧跟美国，已经算是奇迹。。。而新能源，两家应该在同一起跑线上，结果。。。
这个字幕念“季”
英伟达要谢谢elsa
TPU这个领域，华为不应该缺席啊。
默认都是fp64，而不是fp32
张亮核心是麻辣烫。
谢谢分享，理解你的GPU是通用加速器，用于AI模型有许多冗余，效率也不高，将来会出现专用于AI模型的加速器
10前买英伟达的爽了！！！
多少年前有专业文章推荐英伟达钱程光明，我看了一眼股价才20刀出头，心得话一个做显卡的能翻几倍。要是当年买了一千股我大概也财富自由了。
过于硬核，听晕了
看預覽圖以為 黃秋生
国产GPU设计，你少了终要选手摩尔线程，壁仞。尤其是莫尔线程，这个是直接出了可以打游戏的GPU，不是GPGPU
然而两家都是用的img的IP😂
人家是故意的，一个念稿人而已，稿子写啥他念啥就行了，你以为稿子他写的呀。
摩尔威胁到nv了，已经被制裁了
❤
一年後的今天已經突破三萬億美元了
Ai的最终归宿是电力😂
後遺症就是咱家的小孩，為了玩高速遊戲，一張張幾萬～十幾萬的這卡，瞞著你，也借錢來買，這些卡最後拖垮的，是家有電玩小孩的家庭，某一天，我們的遺產，就是留給小孩還貸款，最後做一個流浪人
你想法太過單純了
对于科技外行的我，说的太快，还是一头雾水
老話一句：有能者付出行動，無能力者只有夢想！
👍👍👏👏
果然谁都喜欢粗大的，粗大之放于四海皆为真理
我對於觀察者網譴責黃仁勳比較有興趣，不知道有沒有拍成影片上傳Yt了
你把问题搞复杂了，CPU属于线性计算，GPU是并行计算，通俗的讲CPU是单打独斗，GPU是群殴方式。chatgpt的需要的大量计算是需要大量显卡的，全球都在发展这个，那自然需要大量显卡
什么叫需要大量显卡？
@@user-hj4cy8nb8r 对个人电脑来说GPU是在显卡上，对服务器来说GPU是在专门的计算卡上。能去做ChatGPT这种的就那么些公司，还是个人电脑显卡上的GPU用的多。不是谁都有钱买服务器的。这种人工智能的发展最终还是要到具体的个人用户上。只不过个人用户只是使用训练好的模型而已。
作者的解释才是比较靠谱的，你这歧义太大。
你通俗的讲了，那么cpu还有什么意义？
谁不知道群殴 比单打强？ 那以后还要什么cpu？
作者的解释也许不很好，但你的通俗 更拉胯、莫名其妙~
一個運算可拆，一個不易拆分的
@@CreativeEnglishTeaching 你说的东西看似挺有道理，唬外行吧，实际就是你拍脑袋想的，你真的确定ChatGPT这个产品是用的个人电脑显卡来训练的吗？啥也不懂还在这装。还有你这个观点，似乎是说：ChatGPT需要大量显卡，所以全球都发展这个，显卡就流行起来了。这观点是不是说，如果没有ChatGPT这个产品，其他的AI产品都不需要显卡芯片来训练？用的啥？