M4 Mac mini 服务器探索之路03 LM Studio部署以及MLX框架推理的实测体验以及api调用设置方法RAG增补使用方法|ollama对比|Mac系统最佳大模型客户端|

แชร์
ฝัง
  • เผยแพร่เมื่อ 20 ธ.ค. 2024

ความคิดเห็น • 27

  • @laoqiao-gh9rd
    @laoqiao-gh9rd 19 วันที่ผ่านมา

    感谢王哥分享

    • @milaone
      @milaone  19 วันที่ผ่านมา

      不客气您

  • @jk1231
    @jk1231 วันที่ผ่านมา

    王老师,我又来请教一下,请问RAG 的档案太大(比如说一个法规的全文,一千多页的pdf),AI模型对RAG 档的理解不充份的话,有什么方法可以针对这个做改善,让AI 模型对RAG 的内容更熟悉,给出比较精准的答案? 我曾尝试用你在Ollama 影片中教的方法去通过OpenAI 做fine tuning, 但是问题是OpenAI 也处理不到那么大的档,经常有遗漏,我是有点怕即使再把pdf 细分他也做不好,而且费工😂, 谢谢指教🙏🏻

    • @milaone
      @milaone  วันที่ผ่านมา +1

      您太客气了,稍等啊我下午回您,现在外面

    • @milaone
      @milaone  วันที่ผ่านมา +1

      还是先要感谢您支持哈!rag在我经验中哈也遇到各种问题,后来找到文章说,rag的数据格式,文件格式都会影响,最好就是被结构化的数据,说白了如果想有好的效果,要先对数据进行清洗,这个我也是一直困扰,最近我就干脆看看模型微调,好像数据量大了反而微调会省事,等我有了初步结果我会出一个视频进行说明,感谢您的支持和关注

    • @jk1231
      @jk1231 วันที่ผ่านมา

      @@milaone 好的,谢谢🙏🏻

  • @loveyouwang1201
    @loveyouwang1201 21 วันที่ผ่านมา

    非常感谢

  • @liangshi3802
    @liangshi3802 22 วันที่ผ่านมา +1

    最近正在学习研究M4上怎么搞RAG,这个视频可以算是及时雨啊。就是不知道这个LM还能用什么RAG。我自己是打算对一些PDF文档进行分析,然后做个RAG。刚刚开始,还有很多需要学习的地方

    • @milaone
      @milaone  22 วันที่ผ่านมา

      对的分析pdf是标准姿势

  • @黄5-y2p
    @黄5-y2p 7 วันที่ผ่านมา

    在model search的时候显示There was an error fetching results from Hugging Face, please try again in a little bit, 挂了梯子,是梯子太脏了? 请教一下王哥 ~

    • @milaone
      @milaone  7 วันที่ผ่านมา

      感觉就是网络问题,ip不干净不至于

  • @tomjerry5144
    @tomjerry5144 6 วันที่ผ่านมา

    很棒的视频,节奏掌控的很好,赞。

  • @顺其自然-i8s
    @顺其自然-i8s 21 วันที่ผ่านมา

    不知道 我说清楚没有 就是说建立的screen -S abc和screen -S qaz是 各自独立的 还是 相互关联的?

    • @milaone
      @milaone  21 วันที่ผ่านมา

      说清楚了

  • @顺其自然-i8s
    @顺其自然-i8s 21 วันที่ผ่านมา

    老王好 !编译固件用你的教程 非常成功 咨询个事 比如建个 screen -S abc 来编译的X86 固件 如果我在编译个 树莓派固件 重建个screen -S qaz 是重走一遍依赖库 流程 还是会自动调用screen -S abc的依赖?这两个是独立的 还是 相互关连的? 谢谢!

    • @milaone
      @milaone  21 วันที่ผ่านมา

      还依然是abc的文件继续编译,他只是虚拟了一个终端,但是你用户下的文件没有隔离,如果想同时编译两个项目,git仓库时,指定一个比如openwrt-res的目录,把树莓派的另做一个目录也是可以的,总之只隔离终端,不隔离用户。你想啊,你不管从哪里登陆进来的ssh,最后用户还是同一个,所以文件就不会隔离,除非,你再开一个用户也可以

    • @顺其自然-i8s
      @顺其自然-i8s 21 วันที่ผ่านมา

      明白了 谢谢!

  • @大理鱼儿
    @大理鱼儿 4 วันที่ผ่านมา

    我用他的Api回答乱码咋搞

    • @milaone
      @milaone  4 วันที่ผ่านมา

      怎么会,换个模型呢,调用api的prompt也得差不多哈

    • @大理鱼儿
      @大理鱼儿 4 วันที่ผ่านมา

      @@milaone 确实是模型有问题😭😭,换个模型好了

    • @milaone
      @milaone  4 วันที่ผ่านมา

      有时网不好下的模型有问题啥的

  • @taosong-v2x
    @taosong-v2x วันที่ผ่านมา

    这个软件安装上以后无法下载模型,这个怎么解决?

    • @milaone
      @milaone  วันที่ผ่านมา

      网络看一下我也遇到过好几次,一会儿再打开就没事了,看看梯子啥的

  • @costerlai
    @costerlai 21 วันที่ผ่านมา

    挂了梯子,下载模型好费劲,下着突然没速度,反复点暂停和开始来下。

    • @milaone
      @milaone  21 วันที่ผ่านมา

      我就没这么费劲呢

  • @令人鼻酸
    @令人鼻酸 22 วันที่ผ่านมา +1

    這個真的比ollama簡單清楚,而且可以使用RAG來檢索,最好可以用來代替NotebookLM,畢竟被google坑了很慘

  • @大支爺
    @大支爺 21 วันที่ผ่านมา +1

    算力弱又記憶少........服務器??
    當高級播放器就得!