ขนาดวิดีโอ: 1280 X 720853 X 480640 X 360
แสดงแผงควบคุมโปรแกรมเล่น
เล่นอัตโนมัติ
เล่นใหม่
Patreon已上线，欢迎加入：www.patreon.com/newtype_ainewtype是我创建的社群。之前开通了知识星球，面向国内小伙伴，已经运营三个月。现在有了Patreon，海外的小伙伴也可以加入讨论了。
这绝对是个人知识库方面的好消息。谷歌的notebookLM已试用，阿里的千问据说也非常给力，一切可定制、私密化应用很快就会成熟起来，只是本地化对机器要求太苛刻。
国产的模型还是有很大提升空间，体验过很多，使用优先推荐国外的ai，国内的ai可以留着作为备用，另外收费也是一个问题，毕竟定制化内容和扩展知识库（包括其他扩展，比如绘图和语音等），小心点不要被割韭菜了。
简单明了，真的很赞
很喜歡你的作品，，，特別是RAG的部分。希望多多post
ok
視頻1:55這裏從GitHub複製的這行命令在哪找到?
请问一下，我的anythingllm一直在loading workspaces，为什么会这样？
为什么我的OPEN WEBUI模型都回说：“很抱歉，我无法直接访问外部链接或查看具体网页的内容。……”即便使用#号？
本地训练真是太重要的，邮件、pdf、office，有没有什么好的工具，直接全盘一键读取？然后就回答问题就是了把微信也弄进来更好了
真牛
拉取openwebui时，报错 docker:unexpected EOF。已更改了docker的镜像源，也是最新版的docker desktop版本，就是有一个文件没法拉取；现在改用chatbox来替代了
看起来是网络问题，没法拉取镜像
Anyting我想換給模型,怎麽去操作/?
另外还想请教您l两个问题，1是看您演示放的是PDF和网页，anything LLM可以放md文件么，2是结合您另一个视频，讲到text generator在obsidian设置里面，我想问下base path那栏应该在哪里找，model那栏我知道应该填llama 3：8b？
1、可以，支持md格式。2、我现在都用LM Studio，在Custom选项里设置：Endpoint填localhost:1234/v1/chat/completions；api key填lm-studio。
老师啊，我ollama输入两个指令后也没打开WEB的页面然后我就关闭，然后再点Ollama就没反应了，不弹出页面也发送不了命令了，咋弄啊
可以通过本地AI模型接入本地知识库，然后接入微信进而演变成 微信AI客服呢？
可以
当我把my document的文件放入my worlspace 里面的时候，总是报错，文件没法上传到my workplace，是什么原因？
报错的具体内容是啥？会不会是不支持的文件格式
报错原文“Error: 1 documents failed to add.fetch failed.” 我上传的是pdf文件@@huanyihe777
WSL发行版突然终止 老师，退出状态1，怎么弄
你好，我的OLLAMA是安装在windows server 2019上的，docker无法安装。那么如何使用open webui呢？
官方提供了别的安装方法：docs.openwebui.com/getting-started/installation
可以使用GPT4All-webui
请问老师，我下载的llama3的模型在聊天界面没法上传文件😢
我想搭建模型，在本地做錄入頭像。生成視頻，讀文章
牛🐮 👍
为什么我的ollama在运行模型的时候cpu占用很高，gpu占用很低?谢谢
ollama占用都很小。你装的什么模型
按照您讲解的方法已经在本地部署了ollama+docker+anythingllm，我想实现的目的是，工作中需要管理10家店铺，每家店铺的租赁合同我想让大模型学习，然后根据需要对大模型提问让其回答我的问题。诸如“今天是2025年5月26日，最近一次我要哪天交纳房租，房租金额是多少？”“今年下半年需要缴纳的费用有哪些，分别是多少，汇总是多少？”等。这个需求可否实现？对学习的文档有要求吗？我用anythingllm上传了pdf（扫描版)和doc的文档，但是都无法回答我的问题。同样的操作使用gpt4o就很容易完成。我是哪些细节没有注意到吗？不支持中文吗？
我对你的具体情况有以下几点建议:文档格式:上传pdf和doc格式理论上都是支持的,但扫描版pdf可能存在OCR识别问题导致信息提取不完整。建议尽量使用原始的可编辑的电子版合同文档。如必须使用扫描版pdf,需要先进行高质量的OCR转换为可编辑的文本格式。中文支持:理论上Llama系列模型架构是语言无关的,支持中文。但具体的模型是用什么语料进行训练的很关键。你提到的ollama模型我不太了解具体的中文支持程度。建议优先选用经过大规模中文语料训练的开源模型,如ChatGLM、Moss等。或考虑在ollama的基础上追加中文语料进行继续训练。Few-shot prompting:为了让模型更好地理解你的需求,建议在查询时给出一些示例,描述清楚你希望模型如何从租赁合同中提取关键信息并进行整合回答。比如给出1-2个示范性的提问-回答。文档粒度:如果是分别上传每个店铺的租赁合同,模型可能不太容易对不同店铺的信息进行整合。建议将所有店铺的关键信息提取归纳到一个汇总文档中,以表格的形式列出各店铺的房东信息、租期、租金、缴费时间、其他费用等,并在必要时索引原始合同以备查询。这样会更利于模型学习。知识管理:你可以考虑搭建一个本地知识库,将租赁合同信息以更结构化的方式录入并建立索引。在用户提问时,先用信息检索的方式查询知识库,取得候选结果,再交给语言模型根据问题生成最终答案。这样可以改善准确性。转换文档格式： 将扫描版 PDF 转换为可搜索的 PDF 或纯文本 (txt)。将 DOC 转换为 Markdown (md) 或纯文本 (txt)。提取关键信息： 使用工具 (如 Python 脚本) 从文档中提取租金金额、缴纳日期等关键信息，并将其整理成结构化数据 (JSON 或 CSV)。上传结构化数据： 将结构化数据上传到 AnythingLLM。您可以尝试使用 LangChain 等工具，它可以帮助您更轻松地管理和查询文档。确保您的提问清晰、具体。例如，不要只问 "我什么时候交房租？"，而是问 "今天是X日期，我最近一次要哪天交房租？"总之,我认为你的需求是可以实现的,但需要一定的优化。选用合适的中文预训练模型,对文档进行必要的预处理和组织归纳,通过few-shot prompting引导模型回答,必要时结合知识库,有望达到比较好的效果。不过即使如此,语言模型毕竟还是有可能产生幻觉,对于关键的费用数字等信息,建议最好还是要人工复核确认。
你看我最新视频，有介绍如何将PDF转换成Markdown，方便LLM读取。
老师，什么时候出AI工具和工作流程的视频啊
在策划中
请问老师当我把一个csv文件放到workspace里的时候 报Ollama Failed to embed:[undefined]: undefined是什么原因啊？
可能是嵌入模型没下载好？你换OpenAI的试试
M芯片mac电脑安装docker显示Incompatible CPU detected怎么处理？
你是不是下错版本了？
anythingLLM是收费的，而且很高，有开源的平替吗？
免费的啊，云存储才收费
tqvm
默认位置在C盘，如何移到D盘？
更改Ollama的模型位置？需要添加环境变量。我在知识星球里发过。或者你google一下就有方法
想問一下我之前有聽說過langchain, 不知道跟langchain比較起來差異在哪?
完全不是一个类型。LangChain是一个框架，方便开发人员用来开发应用
anythingLLM 会不会存在数据安全的问题？本地大模型主要就是想保护数据隐私
模型和数据库都选择本地，那数据就都在本地
anythingLLM读不了ollama，但其它软件chatbox可以读出ollama模型列表，怎么解决？
不懂，可以去官方GitHub提交个issue问问
请问本地能跑这种大模型，那能进行微调不呢？
可以微调
@@huanyihe777 是部署到本地后, 直接就能微调了么，这个怎么实现呢（完全小白）
@@huanyihe777 同问，也算小白，这个傻瓜式的部署，怎么微调，如果不行，需要微调的话，要用什么替代AnythingLLM？另外，AnythingLLM能让同一内网的其他电脑访问吗，网页形式的那种？想部署一个，让内网的其他电脑可以访问使用，应该怎么做呢？
我在ollama下载了llama2试了一下即便加了#，llama2好像并不会联网搜索分析结果吧？
根据你提供的网页或者文档进行回答
有赚钱的项目吗
请问老师的电脑什么配置呀，用默认的embedding模型和向量数据库，上传一个2M的pdf，快20分钟了，目前还没出来，也不知道处理进度在哪里看TAT
我的配置挺差的。CPU是i7 9700k，两根8G内存，这些都是2019年配的。后来为了直播和剪视频，加了一块3060显卡。所以，本地跑大模型并不需要特别夸张的配置。
牛
一定要用docker吗？自己电脑不是服务器不想装docker😂
反正官方教程是docker。装一个也没啥坏处
期待更新
新的一期在制作了😉
如果PDF是掃描檔呢
模型有读取的能力就行
也下载了Ollama + AnythingLLM，但是不知道为什么Ollama打不开，是电脑需要额外更改什么么？
不用啊，就是正常安装
@@huanyihe777 抱歉，因为我不是专业的，所以不懂很多，刚查了很多才了解，可能是需要装docker的
Ollama可以直接安装，不需要docker。官网就能下载
视频1分53秒中要求复制dockers的一段命令，这个命令在哪里呀，你的简介中没有地址链接呢
github.com/open-webui/open-webui
为什么我的8G跑4B的模型都那么卡
换个再小一点的模型
安装docker后运行docker run 无法打开web ui，卡在命令行没有反应是啥情况呀，哥
我也是直接说打开github中的命令都不知道去哪里打开
我让ollama去访问网站抓取新闻.他说他做不到.这个有什么办法吗?
因为它没联网。你的这个需求，要用到function call，需要换个模型，以及写个python脚本
谢了,我去试试@@huanyihe777
有本地的时候千方百计放云端，有云端的时候千方百计放本地
情况不同
😍
🥳
树莓派跑大模型？
可以。安装Ollama Linux
这些模型都差的远，应该个人知识库是这样的：可以自动阅读或者指定阅读文件夹或者电脑的所有文件，包含邮件文件，然后自己问就行了。不用每次往里面扔数据文件。这在大企业不都是很平常的事么，怎么都没有人研究这个
你出一張嘴 就想要多拉A夢唷!! 笑死~
你又知道沒人研究？就算有也不會完整的端在你面前，讓你享用吧
Patreon已上线，欢迎加入：www.patreon.com/newtype_ai
newtype是我创建的社群。之前开通了知识星球，面向国内小伙伴，已经运营三个月。现在有了Patreon，海外的小伙伴也可以加入讨论了。
这绝对是个人知识库方面的好消息。谷歌的notebookLM已试用，阿里的千问据说也非常给力，一切可定制、私密化应用很快就会成熟起来，只是本地化对机器要求太苛刻。
国产的模型还是有很大提升空间，体验过很多，使用优先推荐国外的ai，国内的ai可以留着作为备用，另外收费也是一个问题，毕竟定制化内容和扩展知识库（包括其他扩展，比如绘图和语音等），小心点不要被割韭菜了。
简单明了，真的很赞
很喜歡你的作品，，，特別是RAG的部分。希望多多post
ok
視頻1:55這裏從GitHub複製的這行命令在哪找到?
请问一下，我的anythingllm一直在loading workspaces，为什么会这样？
为什么我的OPEN WEBUI模型都回说：“很抱歉，我无法直接访问外部链接或查看具体网页的内容。……”即便使用#号？
本地训练真是太重要的，邮件、pdf、office，有没有什么好的工具，直接全盘一键读取？然后就回答问题就是了
把微信也弄进来更好了
真牛
拉取openwebui时，报错 docker:unexpected EOF。已更改了docker的镜像源，也是最新版的docker desktop版本，就是有一个文件没法拉取；现在改用chatbox来替代了
看起来是网络问题，没法拉取镜像
Anyting我想換給模型,怎麽去操作/?
另外还想请教您l两个问题，1是看您演示放的是PDF和网页，anything LLM可以放md文件么，2是结合您另一个视频，讲到text generator在obsidian设置里面，我想问下base path那栏应该在哪里找，model那栏我知道应该填llama 3：8b？
1、可以，支持md格式。2、我现在都用LM Studio，在Custom选项里设置：Endpoint填localhost:1234/v1/chat/completions；api key填lm-studio。
老师啊，我ollama输入两个指令后也没打开WEB的页面然后我就关闭，然后再点Ollama就没反应了，不弹出页面也发送不了命令了，咋弄啊
可以通过本地AI模型接入本地知识库，然后接入微信进而演变成 微信AI客服呢？
可以
当我把my document的文件放入my worlspace 里面的时候，总是报错，文件没法上传到my workplace，是什么原因？
报错的具体内容是啥？会不会是不支持的文件格式
报错原文“Error: 1 documents failed to add.
fetch failed.” 我上传的是pdf文件
@@huanyihe777
WSL发行版突然终止 老师，退出状态1，怎么弄
你好，我的OLLAMA是安装在windows server 2019上的，docker无法安装。那么如何使用open webui呢？
官方提供了别的安装方法：docs.openwebui.com/getting-started/installation
可以使用GPT4All-webui
请问老师，我下载的llama3的模型在聊天界面没法上传文件😢
我想搭建模型，在本地做錄入頭像。生成視頻，讀文章
牛🐮 👍
为什么我的ollama在运行模型的时候cpu占用很高，gpu占用很低?谢谢
ollama占用都很小。你装的什么模型
按照您讲解的方法已经在本地部署了ollama+docker+anythingllm，我想实现的目的是，工作中需要管理10家店铺，每家店铺的租赁合同我想让大模型学习，然后根据需要对大模型提问让其回答我的问题。诸如“今天是2025年5月26日，最近一次我要哪天交纳房租，房租金额是多少？”“今年下半年需要缴纳的费用有哪些，分别是多少，汇总是多少？”等。这个需求可否实现？对学习的文档有要求吗？我用anythingllm上传了pdf（扫描版)和doc的文档，但是都无法回答我的问题。同样的操作使用gpt4o就很容易完成。我是哪些细节没有注意到吗？不支持中文吗？
我对你的具体情况有以下几点建议:
文档格式:上传pdf和doc格式理论上都是支持的,但扫描版pdf可能存在OCR识别问题导致信息提取不完整。建议尽量使用原始的可编辑的电子版合同文档。如必须使用扫描版pdf,需要先进行高质量的OCR转换为可编辑的文本格式。
中文支持:理论上Llama系列模型架构是语言无关的,支持中文。但具体的模型是用什么语料进行训练的很关键。你提到的ollama模型我不太了解具体的中文支持程度。建议优先选用经过大规模中文语料训练的开源模型,如ChatGLM、Moss等。或考虑在ollama的基础上追加中文语料进行继续训练。
Few-shot prompting:为了让模型更好地理解你的需求,建议在查询时给出一些示例,描述清楚你希望模型如何从租赁合同中提取关键信息并进行整合回答。比如给出1-2个示范性的提问-回答。
文档粒度:如果是分别上传每个店铺的租赁合同,模型可能不太容易对不同店铺的信息进行整合。建议将所有店铺的关键信息提取归纳到一个汇总文档中,以表格的形式列出各店铺的房东信息、租期、租金、缴费时间、其他费用等,并在必要时索引原始合同以备查询。这样会更利于模型学习。
知识管理:你可以考虑搭建一个本地知识库,将租赁合同信息以更结构化的方式录入并建立索引。在用户提问时,先用信息检索的方式查询知识库,取得候选结果,再交给语言模型根据问题生成最终答案。这样可以改善准确性。
转换文档格式： 将扫描版 PDF 转换为可搜索的 PDF 或纯文本 (txt)。将 DOC 转换为 Markdown (md) 或纯文本 (txt)。
提取关键信息： 使用工具 (如 Python 脚本) 从文档中提取租金金额、缴纳日期等关键信息，并将其整理成结构化数据 (JSON 或 CSV)。
上传结构化数据： 将结构化数据上传到 AnythingLLM。
您可以尝试使用 LangChain 等工具，它可以帮助您更轻松地管理和查询文档。
确保您的提问清晰、具体。例如，不要只问 "我什么时候交房租？"，而是问 "今天是X日期，我最近一次要哪天交房租？"
总之,我认为你的需求是可以实现的,但需要一定的优化。选用合适的中文预训练模型,对文档进行必要的预处理和组织归纳,通过few-shot prompting引导模型回答,必要时结合知识库,有望达到比较好的效果。不过即使如此,语言模型毕竟还是有可能产生幻觉,对于关键的费用数字等信息,建议最好还是要人工复核确认。
你看我最新视频，有介绍如何将PDF转换成Markdown，方便LLM读取。
老师，什么时候出AI工具和工作流程的视频啊
在策划中
请问老师当我把一个csv文件放到workspace里的时候 报Ollama Failed to embed:[undefined]: undefined是什么原因啊？
可能是嵌入模型没下载好？你换OpenAI的试试
M芯片mac电脑安装docker显示Incompatible CPU detected怎么处理？
你是不是下错版本了？
anythingLLM是收费的，而且很高，有开源的平替吗？
免费的啊，云存储才收费
tqvm
默认位置在C盘，如何移到D盘？
更改Ollama的模型位置？需要添加环境变量。我在知识星球里发过。或者你google一下就有方法
想問一下我之前有聽說過langchain, 不知道跟langchain比較起來差異在哪?
完全不是一个类型。LangChain是一个框架，方便开发人员用来开发应用
anythingLLM 会不会存在数据安全的问题？本地大模型主要就是想保护数据隐私
模型和数据库都选择本地，那数据就都在本地
anythingLLM读不了ollama，但其它软件chatbox可以读出ollama模型列表，怎么解决？
不懂，可以去官方GitHub提交个issue问问
请问本地能跑这种大模型，那能进行微调不呢？
可以微调
@@huanyihe777 是部署到本地后, 直接就能微调了么，这个怎么实现呢（完全小白）
@@huanyihe777 同问，也算小白，这个傻瓜式的部署，怎么微调，如果不行，需要微调的话，要用什么替代AnythingLLM？另外，AnythingLLM能让同一内网的其他电脑访问吗，网页形式的那种？想部署一个，让内网的其他电脑可以访问使用，应该怎么做呢？
我在ollama下载了llama2试了一下即便加了#，llama2好像并不会联网搜索分析结果吧？
根据你提供的网页或者文档进行回答
有赚钱的项目吗
请问老师的电脑什么配置呀，用默认的embedding模型和向量数据库，上传一个2M的pdf，快20分钟了，目前还没出来，也不知道处理进度在哪里看TAT
我的配置挺差的。CPU是i7 9700k，两根8G内存，这些都是2019年配的。后来为了直播和剪视频，加了一块3060显卡。所以，本地跑大模型并不需要特别夸张的配置。
牛
一定要用docker吗？自己电脑不是服务器不想装docker😂
反正官方教程是docker。装一个也没啥坏处
期待更新
新的一期在制作了😉
如果PDF是掃描檔呢
模型有读取的能力就行
也下载了Ollama + AnythingLLM，但是不知道为什么Ollama打不开，是电脑需要额外更改什么么？
不用啊，就是正常安装
@@huanyihe777 抱歉，因为我不是专业的，所以不懂很多，刚查了很多才了解，可能是需要装docker的
Ollama可以直接安装，不需要docker。官网就能下载
视频1分53秒中要求复制dockers的一段命令，这个命令在哪里呀，你的简介中没有地址链接呢
github.com/open-webui/open-webui
为什么我的8G跑4B的模型都那么卡
换个再小一点的模型
安装docker后运行docker run 无法打开web ui，卡在命令行没有反应是啥情况呀，哥
我也是直接说打开github中的命令都不知道去哪里打开
我让ollama去访问网站抓取新闻.他说他做不到.这个有什么办法吗?
因为它没联网。你的这个需求，要用到function call，需要换个模型，以及写个python脚本
谢了,我去试试@@huanyihe777
有本地的时候千方百计放云端，有云端的时候千方百计放本地
情况不同
😍
🥳
树莓派跑大模型？
可以。安装Ollama Linux
这些模型都差的远，应该个人知识库是这样的：可以自动阅读或者指定阅读文件夹或者电脑的所有文件，包含邮件文件，然后自己问就行了。不用每次往里面扔数据文件。这在大企业不都是很平常的事么，怎么都没有人研究这个
你出一張嘴 就想要多拉A夢唷!! 笑死~
你又知道沒人研究？就算有也不會完整的端在你面前，讓你享用吧