【教程】不花一分钱替代ChatGPT？本地部署+内网穿透自建AI

这期视频和大家分享一下，如何用已开源的几个比较有名的大语言模型作为chatgpt的平替来进行本地化部署，以及在本地化部署完成之后如何为本地的大模型快速搭建能远程访问的web页面。
博主本地环境 MacOS
视频中的方法一：
可以自建知识库的LocalGPT-Vicuna-7B(Llama)
github项目：PromtEngineer/localGPT
default模型：TheBloke/Llama-2-7b-Chat-GGUF
4bit量化后显存需求：3.83GB
可支持更换的模型：有huggingface hf格式的模型都可以
可以支持本地知识库搭建(读取依靠langchian,文件格式支持txt/md/py/pdf/csv/xls/xlsx/docs/doc)
自带webUI文件
方法二：清华ChatGLM3-6B
github项目：THUDM/ChatGLM3
完整模型地址：HF: THUDM/chatglm3-6b
HF上不去可以去MS：ZhipuAI/chatglm3-6b (我下下来50个G）
4bit量化后显存需求：6GB
支持Apple Silicon的 MacOS
自带多种WebUI (gradio, streamlit) -也支持命令行/langchain
通用的远程访问方式：内网穿透（花生壳）

[@ssssuper4225]

又漂亮又懂技术👍

[@xiaomaold]

😮这样

[@user-pi3rc7ew9b]

懂得和不懂得都看不懂