部署本地大模型和知识库，最简单的方法

Ollama + AnythingLLM，部署本地私人知识库。
⭐️ 视频中提到的产品 / 项目 👇
➡︎ Ollama: ollama.com/
➡︎ Open WebUI: github.com/open-webui/open-webui
➡︎ Anything LLM: useanything.com/
⭐️ 更多相关视频 👇
➡︎ PC Hardware for Local LLM: • 本地跑大模型，需要什么配置
➡︎ Ollama + Hugging Face: • Ollama + Hugging Face：...
➡︎ Ollama + ngrok: • 本地知识库，外网也可以访问
===========================
加入付费社群，提问 / 交流
===========================
🔥 知识星球：t.zsxq.com/19IaNz5wK
===========================
墙内用户来微信平台来找我
===========================
⚡️ 视频号：黄益贺
⚡️ 公众号：newtype 超级个体
===========================
我的理念 + 我想干什么
===========================
🤖️ 我坚定认为：1、AI是我们这代人一生一遇级别的机会。2、内容和代码是这个时代最重要的杠杆，大过资本和人力。
🤖️ 通过分享关于AI的Why和How，通过内容和社群，聚集像我一样希望成为【超级个体】的人。

[@huanyihe777]

Patreon已上线，欢迎加入：www.patreon.com/newtype_ai
newtype是我创建的社群。之前开通了知识星球，面向国内小伙伴，已经运营三个月。现在有了Patreon，海外的小伙伴也可以加入讨论了。

[@WalidDingsdale]

这绝对是个人知识库方面的好消息。谷歌的notebookLM已试用，阿里的千问据说也非常给力，一切可定制、私密化应用很快就会成熟起来，只是本地化对机器要求太苛刻。

[@user-dx8gm4fl1l]

简单明了，真的很赞

[@user-he4qi4fe2j]

拉取openwebui时，报错 docker:unexpected EOF。已更改了docker的镜像源，也是最新版的docker desktop版本，就是有一个文件没法拉取；现在改用chatbox来替代了

[@fangliu1369]

真牛

[@TS-vr6dr]

牛🐮 👍

[@user-om8dv8ot4n]

期待更新

[@huanyihe777]

新的一期在制作了😉

[@josephinechen5968]

另外还想请教您l两个问题，1是看您演示放的是PDF和网页，anything LLM可以放md文件么，2是结合您另一个视频，讲到text generator在obsidian设置里面，我想问下base path那栏应该在哪里找，model那栏我知道应该填llama 3：8b？

[@huanyihe777]

1、可以，支持md格式。2、我现在都用LM Studio，在Custom选项里设置：Endpoint填localhost:1234/v1/chat/completions；api key填lm-studio。

[@fangwang-we5tx]

请问老师当我把一个csv文件放到workspace里的时候 报Ollama Failed to embed:[undefined]: undefined是什么原因啊？

[@huanyihe777]

可能是嵌入模型没下载好？你换OpenAI的试试

[@kesijack]

老师，什么时候出AI工具和工作流程的视频啊

[@huanyihe777]

在策划中

[@jason8007]

视频1分53秒中要求复制dockers的一段命令，这个命令在哪里呀，你的简介中没有地址链接呢

[@huanyihe777]

github.com/open-webui/open-webui

[@ibmtransnote]

你好，我的OLLAMA是安装在windows server 2019上的，docker无法安装。那么如何使用open webui呢？

[@huanyihe777]

官方提供了别的安装方法：docs.openwebui.com/getting-started/installation

[@jinyuYu-du3ry]

请问老师的电脑什么配置呀，用默认的embedding模型和向量数据库，上传一个2M的pdf，快20分钟了，目前还没出来，也不知道处理进度在哪里看TAT

[@huanyihe777]

我的配置挺差的。CPU是i7 9700k，两根8G内存，这些都是2019年配的。后来为了直播和剪视频，加了一块3060显卡。所以，本地跑大模型并不需要特别夸张的配置。

[@windholygainsborough3653]

請問這需要的是內存還是顯存？

[@huanyihe777]

Ollama用CPU也可以跑，不过最好有GPU

[@user-cf4fq2kw2e]

当我把my document的文件放入my worlspace 里面的时候，总是报错，文件没法上传到my workplace，是什么原因？

[@huanyihe777]

报错的具体内容是啥？会不会是不支持的文件格式

[@user-cf4fq2kw2e]

报错原文“Error: 1 documents failed to add.
fetch failed.” 我上传的是pdf文件
@@huanyihe777

[@HgameForever]

想問一下我之前有聽說過langchain, 不知道跟langchain比較起來差異在哪?

[@huanyihe777]

完全不是一个类型。LangChain是一个框架，方便开发人员用来开发应用

[@zonghengpu2235]

anythingLLM 会不会存在数据安全的问题？本地大模型主要就是想保护数据隐私

[@huanyihe777]

模型和数据库都选择本地，那数据就都在本地

[@markluo1194]

😍

[@huanyihe777]

🥳

[@micheleyu3125]

anythingLLM读不了ollama，但其它软件chatbox可以读出ollama模型列表，怎么解决？

[@huanyihe777]

不懂，可以去官方GitHub提交个issue问问

[@YiCheng-cf5hq]

请问本地能跑这种大模型，那能进行微调不呢？

[@huanyihe777]

可以微调

[@YiCheng-cf5hq]

@@huanyihe777 是部署到本地后, 直接就能微调了么，这个怎么实现呢（完全小白）

[@user-dn9ke8pk9x]

@@huanyihe777 同问，也算小白，这个傻瓜式的部署，怎么微调，如果不行，需要微调的话，要用什么替代AnythingLLM？另外，AnythingLLM能让同一内网的其他电脑访问吗，网页形式的那种？想部署一个，让内网的其他电脑可以访问使用，应该怎么做呢？

[@gossipGirlMegan]

anythingLLM是收费的，而且很高，有开源的平替吗？

[@huanyihe777]

免费的啊，云存储才收费

[@thomas08088]

默认位置在C盘，如何移到D盘？

[@huanyihe777]

更改Ollama的模型位置？需要添加环境变量。我在知识星球里发过。或者你google一下就有方法

[@junyehu2315]

一定要用docker吗？自己电脑不是服务器不想装docker😂

[@huanyihe777]

反正官方教程是docker。装一个也没啥坏处

[@rickkliu]

我在ollama下载了llama2试了一下即便加了#，llama2好像并不会联网搜索分析结果吧？

[@huanyihe777]

根据你提供的网页或者文档进行回答

[@jz1818]

如果PDF是掃描檔呢

[@huanyihe777]

模型有读取的能力就行

[@xiaomowa]

为什么我的8G跑4B的模型都那么卡

[@huanyihe777]

换个再小一点的模型

[@josephinechen5968]

也下载了Ollama + AnythingLLM，但是不知道为什么Ollama打不开，是电脑需要额外更改什么么？

[@huanyihe777]

不用啊，就是正常安装

[@josephinechen5968]

@@huanyihe777 抱歉，因为我不是专业的，所以不懂很多，刚查了很多才了解，可能是需要装docker的

[@huanyihe777]

Ollama可以直接安装，不需要docker。官网就能下载

[@user-fz4vn1jg2g]

按照您讲解的方法已经在本地部署了ollama+docker+anythingllm，我想实现的目的是，工作中需要管理10家店铺，每家店铺的租赁合同我想让大模型学习，然后根据需要对大模型提问让其回答我的问题。诸如“今天是2025年5月26日，最近一次我要哪天交纳房租，房租金额是多少？”“今年下半年需要缴纳的费用有哪些，分别是多少，汇总是多少？”等。这个需求可否实现？对学习的文档有要求吗？我用anythingllm上传了pdf（扫描版)和doc的文档，但是都无法回答我的问题。同样的操作使用gpt4o就很容易完成。我是哪些细节没有注意到吗？不支持中文吗？

[@AC-pw7rl]

我对你的具体情况有以下几点建议:
文档格式:上传pdf和doc格式理论上都是支持的,但扫描版pdf可能存在OCR识别问题导致信息提取不完整。建议尽量使用原始的可编辑的电子版合同文档。如必须使用扫描版pdf,需要先进行高质量的OCR转换为可编辑的文本格式。
中文支持:理论上Llama系列模型架构是语言无关的,支持中文。但具体的模型是用什么语料进行训练的很关键。你提到的ollama模型我不太了解具体的中文支持程度。建议优先选用经过大规模中文语料训练的开源模型,如ChatGLM、Moss等。或考虑在ollama的基础上追加中文语料进行继续训练。
Few-shot prompting:为了让模型更好地理解你的需求,建议在查询时给出一些示例,描述清楚你希望模型如何从租赁合同中提取关键信息并进行整合回答。比如给出1-2个示范性的提问-回答。
文档粒度:如果是分别上传每个店铺的租赁合同,模型可能不太容易对不同店铺的信息进行整合。建议将所有店铺的关键信息提取归纳到一个汇总文档中,以表格的形式列出各店铺的房东信息、租期、租金、缴费时间、其他费用等,并在必要时索引原始合同以备查询。这样会更利于模型学习。
知识管理:你可以考虑搭建一个本地知识库,将租赁合同信息以更结构化的方式录入并建立索引。在用户提问时,先用信息检索的方式查询知识库,取得候选结果,再交给语言模型根据问题生成最终答案。这样可以改善准确性。
转换文档格式： 将扫描版 PDF 转换为可搜索的 PDF 或纯文本 (txt)。将 DOC 转换为 Markdown (md) 或纯文本 (txt)。
提取关键信息： 使用工具 (如 Python 脚本) 从文档中提取租金金额、缴纳日期等关键信息，并将其整理成结构化数据 (JSON 或 CSV)。
上传结构化数据： 将结构化数据上传到 AnythingLLM。
您可以尝试使用 LangChain 等工具，它可以帮助您更轻松地管理和查询文档。
确保您的提问清晰、具体。例如，不要只问 "我什么时候交房租？"，而是问 "今天是X日期，我最近一次要哪天交房租？"
总之,我认为你的需求是可以实现的,但需要一定的优化。选用合适的中文预训练模型,对文档进行必要的预处理和组织归纳,通过few-shot prompting引导模型回答,必要时结合知识库,有望达到比较好的效果。不过即使如此,语言模型毕竟还是有可能产生幻觉,对于关键的费用数字等信息,建议最好还是要人工复核确认。

[@akingtong2808]

我让ollama去访问网站抓取新闻.他说他做不到.这个有什么办法吗?

[@huanyihe777]

因为它没联网。你的这个需求，要用到function call，需要换个模型，以及写个python脚本

[@akingtong2808]

谢了,我去试试@@huanyihe777

[@juneadyue-nw3wr]

有本地的时候千方百计放云端，有云端的时候千方百计放本地

[@huanyihe777]

情况不同