小显卡玩转大模型，模型分层推理法

[@techdiylife]

本视频对应文档：
techdiylife.github.io/blog/blog.html?category1=c02&blogid=0033
自己学不如一起学，欢迎加入 AI 共学会：
techdiylife.github.io/blog/blog.html?category1=c05&blogid=0032

[@qingqingxie5021]

没看懂 好像懂了 网址打开了 发现根本不懂 懂得是“哦 将压力分给硬盘 内存 cpu的这种技术终于出了” 要的是运行 出个代码 没有解释怎么用

[@abner7502]

想知道下UP主 物理机具体的配置清单，能说下吗，谢谢。

[@如日张]

请问如何用分层训练模型呢？我还搞不清楚deepspeed 的zero 3 模式 或还有什么方法推介呢？ 谢谢你博主

[@techdiylife]

内容准备的差不多了，过几天会出视频介绍一下zero。

[@如日张]

@@techdiylife 谢谢博主

[@abner7502]

想知道下up主 物理机 具体的配置清单，能说下吗？谢谢。

[@techdiylife]

64G内存，24G 3090 GPU x 2

[@abner7502]

@@techdiylife 用的什么主板呀

[@techdiylife]

@@abner7502 不是自己组装的

[@rogerroan7583]

這推理速度實在太悲慘，還是乖乖的買h100或是用together ai grok等雲端跑開源大型模型