【人工智能】马斯克开源Grok-1 | xAI 史上最大开源大模型 | 3140亿参数 | 8专家MoE专家模型 | JAX | Rust

周末，马斯克说到做到，真的把自家的Grok开源了。经历了一周的造势，当地时间3月17日，Grok-1开源版本如约而至。从参数来看，Grok-1是目前参数量最大的开源大语言大模型之一，其参数规模达到了3140亿，超过GPT-3.5当时1750亿的参数量。
#grok #xai #elonmusk #gpt4

[@user-xh6rq9tb1k]

这次马斯克开源grok的动机给我的感觉就是要对应close Ai的言论。grok也不是个面向个人的项目，而更像是面向企业的工业品。因为它太庞大了。不过企业要引用grok估计也要评估一下，毕竟它算是个半成品，想要真真正正的商用还是需要投入很多的。这时候入局大模型底层，还是需要勇气的。

[@luweiewul]

这是整个产业重要的一步棋，确保Llama不会像Mistral等等一样开源几个小模型后真正有智能的大号版本就闭源了

[@joenson.w2622]

看這個參數嚇死，跑不動啊，跑不動🤣

[@chanandxiaoxiao5013]

很好的報導、評論、分析。聽著也可怕，是不是太快了，煞車機制有效嗎？😅 謝謝 🎉

[@geliangzhu9146]

主要采用 Rust 好评 。不过开源的Grok 模型 附带的演示demo还是python

[@Astro-sl1ri]

飞哥，期待你讲GTC大会😊

[@bestpartners]

明天吧

[@geliangzhu9146]

热乎

[@simonpeter9617]

最新进展是不可能发的

[@simonpeter9617]

要8块a100, 效果和mistral 78B类似。这个买卖不划算啊

[@hujosh8693]

不是readme說的這麼簡單就能執行了。jaxcuda12有問題要自己裝，/dev/shm的大小也要重設，程式碼中預設用8GPU也要改成(1,1)，結果最後設了512G的SWAP，CPU24核全跑滿也是OOM，所以結論是根本無法在一般機器上執行，開源開了個屁。

[@silent_watchmen]

我觉得叫开源没问题吧 只是说开源又不是叫手把手教你如何run grok 能不能run成功那还是需要个门槛的

[@wj6579]

是不是意味着有些地方很快又要宣布 弯道超车了

[@Sam_Zhang1102]

我看到標題第一個就想到這個…

[@user-gw4yr8xj4m]

两三年后你会发现除了你说的那个地方，其他地方都宣布退出 AIq 大模型的开发

[@silent_watchmen]

不会 这个1.0的架构很差 效率又低 老马只是放出了这个60分的试卷堵某些人的嘴 不至于傻到抄这个作业

[@user-djelwJsskI8964]

@@user-gw4yr8xj4m没可能，开源的东西多了，那个地方抄都抄不好

[@willyang6023]

这也是中国软实力的一部分，你以为上海的工厂白给你开啊😂

[@Ryanwong.6688]

Grok可以用來寫代碼嗎？

[@silent_watchmen]

大飞 Lex放出了和Sam Altman的最新采访podcast 看完了里面有很多不错的点值得讲一讲 我看目前YT中文博主谈这个的好像还没有 赶紧蹭一波热度啊

[@bestpartners]

计划是后天讲这个，感谢建议

[@renqiu3449]

某公司又要遥遥领先了

[@geliangzhu9146]

个人玩家，没有一个人的业余硬件能跑得起来Grok，全部装到gpu需要320G显存。

[@oscezrcd]

int4的话160G就够，内存192G现在还是做得到的。

[@BIBO-king]

银河系漫游指南，银河系漫游指南，银河系漫游指南，。（重要的喜剧电影说三遍）

[@summerli66]

虽然我一点都听不懂，还是一期不落😂

[@bestpartners]

哈哈，可以用来睡前催眠

[@jessishandsome]

聽久了就會懂

[@OLILANPA]

看來今天特斯拉股價上漲是因為這個吧

[@geliangzhu9146]

并不是哦。Grok 属于 Xai 公司，不是一家 。特斯拉股票上涨是因为他宣布在美国和欧洲对售价提高6%以上，认为涨价是对需求强劲的回应，在中国涨多少没公布。华尔街喜欢一个涨价的特斯拉，利润短期会有改善。

[@jkg2001]

開是開了 到底能不能用啊

[@hujosh8693]

不能用

[@davidtomcai7821]

马斯克这个开源大模型效果很差，参数又多，效率低。大家不要被骗。华为也有开源大模型，还欢迎大家去测试。

[@jessishandsome]

中國正苦於沒有開源大模型XD

[@davidtomcai7821]

你孤陋寡闻而已😅。马斯克这个开源大模型效果很差，参数又多，效率低。大家不要被骗。华为也有开源大模型，还欢迎大家去测试，而且已经和中科院等几个合作开发出几个版本的大模型。

[@wonmanintp]

換個背景吧

[@bestpartners]

暂时没条件，以后租个工作室再说吧

[@haolang2134]

大飞，你主业是做什么的？ 这么博学

[@bestpartners]

博学可不敢当，主业油管博主，哈哈

[@987x9]

这玩意甚至不如国产qwen，我觉得价值不大

[@silent_watchmen]

本来就是为了堵有些人的嘴开源的 这个1.0的架构和效率根本没可能scale inference的成本都太高 估计内测的人不超过一万 下个版本会有大刀阔斧的改动

[@OboobO_]

中國馬上要自主研發了~又要再次贏麻了~真開心

[@davidtomcai7821]

马斯克这个开源大模型效果很差，参数又多，效率低。大家不要被骗。华为也有开源大模型，还欢迎大家去测试。

[@willyang6023]

上海工厂可不是白开😂