如何知道一个大模型在推理和训练时需要多少显存？

为您介绍一个大模型所需显存的计算工具。通过它，您就可以快速了解一个模型是否可以在自己的显卡上使用了。
#LLM #大模型 #accelerate #estimate-memory #GPU #显存 #Huggingface #transformers #gemma #mistral #qwen

[@techdiylife]

视频对应的文档（包含代码，以及详细的说明）：techdiylife.github.io/blog/topic.html?category2=t05&blogid=0031

[@zingg7203]

最准的还是用操作系统级别的库来监视资源调用情况

[@背背背包客]

请问本地安装和网页不同，则选择哪种呢

[@tonysiu8562]

great!!

[@RiverDong]

这个测试的是Batch size=1的情况？

[@zcz1595]

能请教一下M2芯片统一内存架构32GB的Mac book pro在本地部署LLM方面大概能相当于多少GB的独立显存吗？

[@techdiylife]

应该与Windows一样，内存作为共享显存。可以理解为32G 减去 其他程序占用的内存

[@zcz1595]

@@techdiylife 谢谢回复，听up这么一说 感觉好像我的mac又行了

[@abner7502]

@@techdiylife win下面，假如我电脑上的显卡就4GB显存，如果离线模型超过4GB大小，是不是我就不能用GPU来加速了，只能用CPU？

[@clarinetlatoya]

@@abner7502 爆显存了

[@taurusduan9715]

@@abner7502 可以，通常win10情况下可以使用3.8GB的显存+内存。只要你的内存够大，可以使用20gb的模型，超过这个体量可能会没有意义。

[@inglam]

请教一下，为什么一般训练需要的显存是推理的四倍呢？

[@techdiylife]

训练时除了参数还需要额外存储梯度，以及优化器的状态。

[@long龙龙]

你好，请问为什么int8和int4的Training using Adam 给的数据是N/A

[@techdiylife]

你要使用量化模型进行训练吗？量化模型训练需要一些特殊的处理。可以去网上找找参考代码。

[@Yiwaterofficial]

能否提供連係方式？

[@techdiylife]

感兴趣的话可以加入下面的微信交流群，两个群主题不一样：
AI共学会：LLM部署实战交流
techdiylife.github.io/blog/blog.html?category1=c05&blogid=0032
AI共学会：Transformers开发百问 （最新建立）
techdiylife.github.io/blog/blog.html?category1=c05&blogid=0035

[@Sawyer0823]

想請問mistral large需要多少的記憶體大小? 4x H100 80GB?

[@techdiylife]

Mistral large不开源，参数量好像都没有公布，没法知道它到底需要多少资源。
开源模型，你可以使用这个工具大体来判断：huggingface.co/spaces/hf-accelerate/model-memory-usage
这里有我做到一些对比：
techdiylife.github.io/blog/blog.html?category1=c02&blogid=0031