黄仁勋还有多少「核弹」没释放？深度解读英伟达B200 GPU
ฝัง
- เผยแพร่เมื่อ 22 มี.ค. 2024
- 这期视频，我们来深入了解下英伟达前不久发布的最新算力「核弹」，B200。我们要解决的关键问题是，英伟达是如何唰的一下子，给到了这么强大的AI加速器。首先，我们来看下英伟达历代的架构。在这些架构中，英伟达率先从Kepler开始，打响了数据中心GPU的第一枪。早在2012年就推出了基于Kepler架构的Tesla K系列GPU。随后，在Pascal架构中推出了Tesla P100，在Volta架构中推出了Tesla V100。从Ampere架构开始，英伟达取消了Tesla前缀，推出了A100；在Hopper架构中推出了H100。这些是英伟达针对数据中心，也就是AI加速和高性能计算领域推出的GPGPU。而如今我们迎来了最新一代的架构，Blackwell，是以美国一位数学家命名的。
Nvidia Blackwell GPU In Depth, Artificial Intelligence Meets The Most Powerful Accelerator On Earth. - วิทยาศาสตร์และเทคโนโลยี
大劉真的牛，謝謝你的解說
非常清楚❤
最後的一段話是重點，訓練部分目前看來Nvdia GPU是可預見未來內看不到對手，但是推理部分，不同架構競爭對手是有機會搶市場的。
非常有幫助的視頻 感謝分享
谢谢分享！❤❤❤
厲害，
超流暢啊。
真心希望大刘聊聊看好的ai 公司，万分感谢
阿婆主,以你的专业解读,5090游戏卡是否也到了一种瓶颈,未来不采用拼接方式的话,50系60系最高阶是否能完成比上代提升50%以上的提升?单从游戏性能或者结合ai算力性能?求解答,谢谢
认真学习
挺有深度的技术分析!能否分析一下英特尔的制程技术现状和竞争力？
8:15 总之就是一个字--大力出奇迹🤣
不知道怎麼看待新的 Cerebras WSE-3 呢？他耗電量是 DGX GB200 NVL72 的 1/5 但是算力基本上一樣呢 模型訓練能力最高能到 24T 參數的
可能到後來AI處理架構的解決方案也會類似之前CPU的複雜指令和精簡指令之爭一樣-架構合併，一處理器中含有多種處理單元，各自在擅長領域運行，共同完成運算。
Congrats for surpassing 100k subscribers!
老黃說了~~新的GB200的能力~~ 訓練即是推理~~上季財報推理能力的市占40%以上~~加上輝達自家開發已久~~越來越多功能的軟體服務的護城河~~別家要做出比的過輝達GB200的推理能力~~是有可能? 但是要花多久時間~~花多少錢完成? 使用上順不順? 穩不穩定? 有多少客戶能冒險接受輝達以外的產品?
CUDA第一個版本是2007年，目前大多數AI訓練推理都是用CUDA在nVidia的產品上跑，想必使用者編寫程式也會繞著CUDA下去優化。後面若有競品出現，他的客戶必須放棄以CUDA為核心開發程式的成本，那競品非得要有更好的效用才值得客戶變更使用。
希望大劉可以cover推理部分，能够和nvida競爭的是那些架構。
支持！
一个Tensorcore 不就是一组cudacore吗 那多用几个cudacore不也一样吗
其实如果AI的能力持续非线性成长，CUDA 的护城河是不是也没有那么深了， 因为大厂能用比较短的时间写出CUDA 的替代品？ 如果不能， 是不是代表其实AI 离真正落地其实还有很远？ NVIDIA 的成长可能不是那么sustainable?
有人能告訴我，，那個用一片12吋wafer只做一個晶片成品的事是怎麼做到的？
建议结果用图表对比
赞👍🏻
有看到應用了嗎
聊聊未来端到端全视觉方案如果接近完美。会怎么样
下一步量子计算训练大模型突破时间瓶颈
對比下是否量子電腦快過英伟达B200 GPU
B100 根據黃的說法是訓練推理都能用 而且nvda也有能力為顧客客製晶片（ASIC)
NVDA成本那麼低利潤那麼高 到时就算有竞争，只要降一降價競爭者也難存活 当然各大云计算业者也会想养第二个供应商（AMD 或自家ASIC) 不能让NVDA随意开价
重點是生態系....他的CUDA已經形成
其他的對手現在根本還在想著怎麼繞開
更不用說客製化ASIC.......也是用自家生態系客製化給特殊廠商
成本（不包含研發），真的利潤很高欸
@@user-cc4is8zg5n 推理晶片需要用到CUDA?
還得看台積電有沒產能
台積電一堆智障主管在搞內鬥 無言
请问推理芯片有什么公司/股票值得关注呢？
ㄎ NVDA 😂
😂英伟达本尊咯
唯一NVDA
這種兩個die整合成一個晶片是基於台積電的封裝技術!以前的AMD 的64核CPU,是由8個８核die與1個IO die整合而成, 台積電的CoWoS技術能整合Chiplet技術發展很久了，以後８個互連對台積電來說也可以克服．．．
謝謝你
不然我都不知道
雖然說是整合，但是之前每一個 die 是有間距的，這個 B200 是直接拼接在一起，性能上更強 !! 延遲極低 !!
@@kelvinkms3671沒有直接拼接，也是CoWoS製程設計，都是2.5D封裝
推理領域是負責什麼的？
再讲一期AMD吧
应该多谈谈AI应用。
Nvidia可能單獨開發類似TPU的晶片嗎？
会的。
感覺和蘋果的很像！都是一個思維方式
下一代應該是NV第一次使用Si-Pho
可以添加英文字幕吗？😢
推理沒有定案，因為不像nvda一樣有獨有市場
看到有的视频评价老黄其实是个营销高手，他很喜欢追逐前沿技术，并且不予余力地推销自己的产品，有点像巅峰期的孙正义，或者巅峰期的苹果
井底之蛙..不懂可以闭嘴...
营销看华为，这个世界上能把三年前的落后技术卖到10000块的企业，那一定是营销大师，这个世界上除了任天堂，就是华为了，前者懂什么叫游戏，后者懂什么叫民族主义，
看看老黄前段时间的采访：create new market then the inventions
巅峰期却是老黄的起步期！
老黄是技术流的，孙正义是投资者，乔布斯是产品经理。
戰略核顯卡
类似tesla 道场架构
mi400有的打吗
沒有....生態系人家建立了幾十年了
尤其是NV要做ASIC.......現在20~30幾家有能力自己做的都在瘋狂想建立自得AI生態系
懷胎十月ㄚ~
一個4nm或5nm晶片需要10億美元投入到你手中測試
你認為nv cuLitho跟新思.TSMC....做的是什麼
有的打，反正都是堆料。卖的便宜更多，ROCm也能用
Transformer 本身在處理 long sequence 內容太沒效率，且會佔用大量的記憶體空間，新出的deep state space model (MAMBA)模型看有沒有機會改善這種只有有錢人才能玩得起的訓練方式。
说话能不能严谨一点，MVlink switch的连接速度是1.8T不是1800t
下次是超過一兆個電晶體的晶片嗎？
時間問題而已
5:36
擺拍😂
老黄是营销高手
他的眼界遠高於99.9的華人
大刘说说 B200这种东西Apple公司能做吗
怎麼會問這麼外行的問題😂😂😂，你以為Apple在AI軟硬體是領先者嗎
@@m0003506 苹果M芯片+统一内存架构就是很领先啊 你这么内行你来说说看为什么苹果做不了B200？
長遠來看，輝達的瓶頸也是人類的瓶頸；目前看來，短期內也沒別家廠商能超越，輝達還不需我們旁人替他們擔心，其他想追上的廠商才更需擔心自身的瓶頸呀！
大刘聊聊在算力方面，华为如何实现弯道超车？
剽窃呗
遙遙領先 .遙遙領先 .遙遙領先 . 然後就弯道超车了
我ㄧ個字都聽不懂但欽佩黃仁勛的堅持。
我只關心nvda還能漲多少
英伟达同特斯拉比较，相对应的在汽车自驾应用的水平差距如何? 在这方面，特斯拉同英伟达从最初的合作伙伴关系，渐发展成竞争关系: 特斯拉不断地向上游深挖，英伟达带领着特斯拉的竞争对手不断地向下游深挖。
做为特斯拉的投资者，很关心特斯拉的fsd, 比较英伟达支持并参与下的竞争对手的自驾系统，其领先地位如何? 尽管马斯克去年说其fsd的下位竞争者还看不到影子. 今年三月，在特斯拉fsd12.3版及英伟达blackwell的B系列 脚跟脚地launch之后，特别是英伟达与比亚迪及众多新能源车企在此方面日益紧密的合作下，很关心特斯拉fsd的competitive strength 到底有那些，还可以维持多久，这将是决定特斯拉命运的一个关键要素之一。请大刘客观地谈一下。
英伟达在自动驾驶领域有通用型软硬一体解决方案
@@user-sm5fj1kw8w可是英伟达沒有特斯拉這種一款車型的訓練数据，所以我赌特斯拉贏
@@Jersey1225 没有？那你是不了解，可能英伟达的数据比特斯拉的还多，对，记住我这句话，不是以后，就是现在可能比特斯拉的还多
@@user-sm5fj1kw8w 你這是可能，我是說特斯拉的單一類型車的行使数据一定是最多的。另外我不喜歡特斯拉也不是特斯拉吹，也不喜歡馬斯克，只是说下這是事實。
@@Jersey1225 特斯拉不是最多的
兩個die之間就是靠NVLink連結的
add disk to gpu
意思就是技术上没有什么进步，但是设计变了，可以做大一些，可以把2个组在一起。看样子半导体的制造技术的确接近到头了。
还没有到头，但提升空间越来越小是真的
哈哈，单核到头了，开始搞双核了
以推理來說
通用GPU的架構
肯定比不上專項發揮的電路
我也在想，可不可以有专门算ai的硬件，比GPU更节能高效。但是不大懂硬件设计原理。有什么具体思路吗
@@kingofkors 已經有了 Groq就是 但是可能只適用於特定模型
功耗也是必須考量，有時候不是快就好@@paultsao6152
@@kingofkors 已經有了，GPU的天花板肉眼可見，NVDA遲早會被超越，除非轉型開發TPU之類的
NV向aaple的M係cpu學習堆料技術🤣
历史证明游戏产业的重要性😂
算力決定 AI
大刘：黄总打钱……
有听懂的吗
我是英伟达的投资人之一，如果英伟达赚钱了，我的身价也会跟着水涨船高。
再下去都不能称为显存了
tsmc，3nm=Fin Fet，2nm=GAA Fet，1nm=C Fet
謝謝分享！門外漢去買相關美股就對了。公司儘管去燃燒無數的肝和腦，我還是好好當股東坐收其利就好了。
总结：差不多可以卖了
是不是核弹不知道，反正以后在后面不接个核电站是会自动降频的
未来发展微生物处理器，只需要食物就可以用！
那也是蓝鲸级别的怪兽，一口吞掉几十人@@Invokeeeeeeeee
老黄将来会是比肩Steve jobs 的行业领跑者。他的气势现在已经天下第一，超越了苹果的库克和巨硬的印度籍CEO
印度
英伟达 遲早要用核電廠先能供電
估计华为又傻眼了
据说gpu的难度没有制程大，各位大佬说说看是这样吗？
GPU確實理論可以靠無腦堆核提升效能，但功耗會上升，而且現實上還會遇到一堆問題比如io和計算效率等等。
實例可以參考GCN架構。
天天载入史册，震惊人类，类人之光，改变世界。
有什麼實用的產品嗎？ChatGPT and Sora 的用途是？
不明觉厉。
不用懂，多賺點錢等著買就成了
還沒看到現在所謂的AI有什麼革命性作用😅
自媒体比较嗨
为什么不这代就四个Die拼接？下代就八个Die。。。
如果你認真研究顯卡產業，你就會發現，老黃永遠留2手，非常可怕
但是 AI 晶片，這次的 B200 很明顯沒有保留 !! 滿血升級 !! 跟遊戲顯卡根本不一樣 !!
算力這麼'強 比特幣會跌嗎😊
這個算力強又不是在製程上升級，並沒有節能的效果，而且挖礦成本只是決定關機還是開機，幣的價錢還是取決於資本炒作，和挖礦無關。
至少短期內不會 . 中國政府會印超多人民幣給權貴換成外幣然後再買比特幣把財富藏在裡面 ..
10分钟听完脑子都烧干了还是只理解了皮毛
大刘，能不能说说这对中国的影响？
中国ai训练慢12个月甚至2年以上，你ai训练追不上人家。出的产品落后两代没有竞争力。
中國有遙遙領先的華為，看不上這個B200吧？😂😂😂
海外很多华人继续发展。正如文革大跃进时代。等中国又开放，又是另一轮的飞跃成长。
@@user-kf4md5hq3x 慢一点好过没有。中国在车机智驾、工业应用等方面已经吊打世界上除美国外的绝大多数国家和地区了。就比如台湾的台积电制造晶片天下独步，但智纳捷N7的车机系统相对同价位的小米SU7，没法看。
之前一直觉得NVIDIA的东西太贵了不值得，但是看到视频里面芯片的面积后，我觉得价格可以接受了。。。。 那么那么大，良率必然高不了，买那么贵是有道理的。虽然就算如此他们利润非常非常高，但是。。。。 真的很难，利润不高也支撑不了后续研发了。
貴不單單是晶片，而是軟體，晶片再好，軟體驅動不行也沒用。
让天网去开发天网吧
4np其实还是5纳米
4np 是接近 3nm，不是 5nm。
@@Dksfu不是吧，4np跟5nm同一個產線，都是台積18A廠，而3nm是18B廠
@@johnchen6783 4np 是台積電對 4nm 的改進版，雖然用的是 5nm 的產線，但製程仍是有所不同，就像中芯可以用 DUV 靠著多重曝光技術達到了 7nm 的晶片製造，然而一般 DUV 機台普遍只做到 14nm。
switch 是交换，不是路由（route）
根据这个上下文，这个switch发挥的作用确实是路由，正如同三层交换机也能配置静态路由一样，一个设备的实际作用可能远超他的名字
講話真的很快 聽起來有點吃力
高耗電是AI的敗筆，也是結束人類的開始
據估算B200是華為昇騰AI晶片910B效能的14倍, 不過實際差距可能更大，是能與不能，
因為910B集群能力只能滿足GPT3水準的訓練參數
理論上算力可以用數量彌補，功耗可用補貼彌補，但集群規模就是不可改變的差距
所以黃仁勳說：
就算競爭者的晶片都免費，它們依然不夠便宜
趨勢不夠強就是”0”
你訓練AI不可能縮小參數,也不可能拉長時間來做.
因為強者沒在等你
最新的B200還是四奈米，而不是三奈米制程
3nm良率不高，appleSoc小，所以不介意，NVIDIA用3nm利润就降低
@@ps3301誰跟你3nm良率不高，那現在滿載的3nm客戶都是笨蛋？
是因為輝達用4np就能屌打所有對手，根本用不上相對貴的3nm
@@johnchen67833nm現在良率大約80～85%，去年才出一個新聞，TSMC為了留住APPLE，願意吃下不良率的部份，產生35至40億帳款退回。
@@johnchen6783请问英伟达的gpu是台湾哪几家公司代工的 只有台积电吗？是不是制造难度比逻辑芯片低 为什么很少见人提起
@@johnchen6783
原諒這種吧~他認定的良率不高永遠都是人家量產初期的良率
跟一群ㄚ陸仔一樣
對這世界極近無知
3nm產能NV不想要? 不介意?
超好笑的......
排隊吧~ 我只能說....排隊吧
不管H100.B100....還是有的沒的.....COWOS產能根本不夠
台積把台灣6座COWOS廠做好都不夠.....加日本也不夠
$$$ 大錢出奇蹟, NVDIA 繼續強大
“断崖”是对下跌的形容😁
叫meta不要買太多B200要不最近老當掉
不用3nm是因為輝達用4np就能屌打所有對手，根本用不上相對貴的3nm，
而輝達在3nm也早就開始跟台積電合作了，從開始研發到量產，過個一年都算正常的時程
不是.....根本沒產能給輝達......
一個設計方案2~3年起步(尤其是COWOS根本不夠)
沒嘗過三星帶來的噩夢~誰會知道TSMC得好
別忘了NV可是踩過三星的雷.....再看看高通那鳥樣
@@user-cc4is8zg5n是的，不過你漏掉特斯拉也踩了三星的雷，現在回台積電乖乖排隊
聽說5090又要用三星了.....雖然好像是用記憶體還麼~我還是等60系好了.....
主要原因是2024積積的3奈米，蘋果全包下，所以輝達在年底可能有🎉🎉🎉
每次听大刘聊完技术都会陷入深深的焦虑感觉自己马上就会被淘汰了
說的簡單，知易行難，魔鬼都在細節裡。如果在牆內早點出來，這是個數兆的大市場。
@@TaiwanNationStatusQuo 将来墙内肯定比井底强吧！
@@john-ku9kj 你確定牆內往上看不是圓圓的天？井雖大仍是井，牆雖遠還是有牆，一上網光速飛奔立刻撞上。牆大的中國，地大物博，背倚惡爹手搭巴鐵面有大海與喜馬拉雅山，千年以來只要跟大河搏鬥，從不需要外國什麼東西。
@@TaiwanNationStatusQuo 切，只有活在鼻屎一样大的鬼岛上的生物，才会说这种话。🤣
二年后过来鞭尸
"Promo SM" 😱
感觉完全听不懂，要能通俗易懂一点就好了。
open ai要投资7万亿美元搞芯片，这对英伟达可不是个好消息
就算有再高的科技，也要孤芳自賞了！
说了等于没说 还是不懂
肯定的是，屎册😂