Microsoft Phi-3 AI Model deploy in local pc @LM Studio,Support LLAMA3,API,similar to GPT 3.5,safe
ฝัง
- เผยแพร่เมื่อ 28 พ.ค. 2024
- Summary:
1. 1. Phi-3 Artificial Intelligence Small Language Model Introduction
2. LM Studio & Phi-3 Model Download and Installation Configuration
3. Running Phi-3 and Trying Phi-3 Chat bot
LM Studio download[441M]: lmstudio.ai/
Phi-3 download[2.2G]:huggingface.co/microsoft/Phi-...
Phi3 is very small, works on My test PC:
CPU: AMD Ryzen 7 5800H with Radeon Graphics 3.20 GHz
RAM: 16.0 GB
GPU: Integrated with cpu, AMD Radeon(TM) Graphics - วิทยาศาสตร์และเทคโนโลยี
您这边是什么配置的电脑?我这有台5800U的AMD小主机想拿来做测试,但不知道AMD的集成显卡在模型运行上能有什么样的效果
就是一个词一个词的出来,CPU,显卡实际占用也就30%多。视频下方放的有我的配置。
我的m1 16GB的运行很流畅哦,和使用chatgpt一样,感觉还流畅些
@@ttxiaohahareveal8268 我的m1芯片16gpu mac跑llam3可以,带phi mini好卡
@@ttxiaohahareveal8268 請問 m1 還是 m1 pro ?
有人提出下载太慢,我正在上传到百度网盘,稍后放出地址
试一下GPT4AII 应该不会这么卡。
有空试试
我现在也有一些优化的措施,我的电脑不用显卡速度更快,速度约3-9tokens/s
发现在预设preset中选择phi3,弹框中选择保持系统设置,回答能变快一些。
你的机器什么样的配置啊?显存有多少?能装下模型不
@@BKT-AIoT 老游戏本6G显存,可以装下2G的模型
LM Studio 里面已经有phi-3的模型了哦
这个和网络有关系,你用的透明梯,就应该可以看到。
很奇怪,说模型小,我的m芯片16gpu mac跑llam3可以,带phi mini好卡
前面有人说m1 16GB的运行很流畅。
最新一期视频有我提高运行速度的一些优化设置,看看是否对你有用。
看来博主也是在深圳
深圳+1
阿里云不支持gguf格式的分享哦,都已经上传完了😂
不知道阿里云为什么要做这种没有意义的限制。他限制格式,我就压缩再上传,这样就会存在多个不同压缩方式的文件,占用控件更大。还有百度云,竟然免费版的要限制不能大于4G,同样是没有意义的,我多卷压缩再上传就给他破掉了,而且占用他更多的磁盘空间。
打雷了?好大声音。
是的,近期豪雨
既然做自媒体,拾音设备弄好点嘛
刚开始,还没有专业设备。设备会改进的,感谢支持!
这个也不是本地吧
是在本地运行的。是不联网的。
作为中文模型使用,真的比较一般,不知道有没有训练过的中文版
你主要是处理哪方面的应用?
@@BKT-AIoT 主要是中文写作