ขนาดวิดีโอ: 1280 X 720853 X 480640 X 360
แสดงแผงควบคุมโปรแกรมเล่น
เล่นอัตโนมัติ
เล่นใหม่
现在用mini跑这个例子开销很低啦
现在可以把模型设置成 4o-mini了🥳
先赞后看
我的笔记本是M1 pro芯片，但索引时，要1个多小时，而且还报错，这是什么原因
您好，请教一下，下面这个配置中的 base_dir指定的input 目录里面能带子目录吗？另外每个文件的大小有规定吗？谢谢input: type: file # or blob file_type: text # or csv base_dir: "input"
这个我倒还没试过。不妨一试
其他模型呢 ？ 不是说要教配置其他模型吗？
嘿嘿，耽搁了耽搁了。抱歉
使用国内的豆包模型对一些中文说明书进行索引构建，发现构建后的效果还不如langchain chatchat，博主有什么优化手段吗？
有没有使用其他模型比如gpt时，同等条件下的测试结果？想排除下效果差不完全是豆包的原因
@@Timothy-su9fj gpt国内禁用了，没法测试，只能测试国内的模型，对比文心和豆包感觉差不多
@@yulongsu1472 现在可以搞llama3-405b了
4o-mini来的真是时候
本地模型很重要啊，成本考量~
我正在尝试使用4090本地算力，ollama llm和embedding。
@@leosong-lq4dl可以分享結果
@@leosong-lq4dlOllama embedding 好像用不了
@@leonwu355 是的，因为ollama没有支持openai风格的异步接口。我现在的方案是用lm studio。你可以用这个配置试一下embeddings: async_mode: threaded # or asyncio llm: # embeddings with lm-studio api_key: lm-studio type: openai_embedding # or azure_openai_embedding model: nomic-ai/nomic-embed-text-v1.5-GGUF/nomic-embed-text-v1.5.Q5_K_M.gguf api_base: localhost:1234/v1
@@markchao4848 我的配置是4090，语言模型推理使用ollama qwen:72b，嵌入模型推理使用lm-studio nomic-ai/nomic-embed-text-v1.5-GGUF/nomic-embed-text-v1.5.Q5_K_M.gguf。另外还要改造代码，qwen输出的json字符串有问题，需要用字符串处理只取{}内的内容，还要用json5容忍格式错误（比如缺失引号逗号）。代码本身读配置也会出问题，top_p的参数没有用配置文件里的，而是写死在代码里了、
嗯，模型索引用了50元，每次搜索还要花费1.7元钱。
不容易。太贵了。
超贵的模型，要落地进产品难。
![โรงเรียนดัดสันดาน นักเรียนเถื่อน..!! [โรงเรียนไดเม่]](http://i.ytimg.com/vi/vRKPeXn4Fl4/mqdefault.jpg)
![[Full Episode] The Restaurant War Thailand ศึกพ่อค้าซ่าแม่ค้าแซ่บ Episode 4 | 13 ต.ค. 67](http://i.ytimg.com/vi/h8N9tY46P-M/mqdefault.jpg)
现在用mini跑这个例子开销很低啦
现在可以把模型设置成 4o-mini了🥳
先赞后看
我的笔记本是M1 pro芯片，但索引时，要1个多小时，而且还报错，这是什么原因
您好，请教一下，下面这个配置中的 base_dir指定的input 目录里面能带子目录吗？另外每个文件的大小有规定吗？谢谢
input:
type: file # or blob
file_type: text # or csv
base_dir: "input"
这个我倒还没试过。不妨一试
其他模型呢 ？ 不是说要教配置其他模型吗？
嘿嘿，耽搁了耽搁了。抱歉
使用国内的豆包模型对一些中文说明书进行索引构建，发现构建后的效果还不如langchain chatchat，博主有什么优化手段吗？
有没有使用其他模型比如gpt时，同等条件下的测试结果？想排除下效果差不完全是豆包的原因
@@Timothy-su9fj gpt国内禁用了，没法测试，只能测试国内的模型，对比文心和豆包感觉差不多
@@yulongsu1472 现在可以搞llama3-405b了
4o-mini来的真是时候
本地模型很重要啊，成本考量~
我正在尝试使用4090本地算力，ollama llm和embedding。
@@leosong-lq4dl可以分享結果
@@leosong-lq4dlOllama embedding 好像用不了
@@leonwu355 是的，因为ollama没有支持openai风格的异步接口。
我现在的方案是用lm studio。
你可以用这个配置试一下
embeddings:
async_mode: threaded # or asyncio
llm:
# embeddings with lm-studio
api_key: lm-studio
type: openai_embedding # or azure_openai_embedding
model: nomic-ai/nomic-embed-text-v1.5-GGUF/nomic-embed-text-v1.5.Q5_K_M.gguf
api_base: localhost:1234/v1
@@markchao4848 我的配置是4090，语言模型推理使用ollama qwen:72b，嵌入模型推理使用lm-studio nomic-ai/nomic-embed-text-v1.5-GGUF/nomic-embed-text-v1.5.Q5_K_M.gguf。
另外还要改造代码，qwen输出的json字符串有问题，需要用字符串处理只取{}内的内容，还要用json5容忍格式错误（比如缺失引号逗号）。代码本身读配置也会出问题，top_p的参数没有用配置文件里的，而是写死在代码里了、
嗯，模型索引用了50元，每次搜索还要花费1.7元钱。
不容易。太贵了。
超贵的模型，要落地进产品难。