- 33
- 52 945
AI开发者-就爱瞎鼓捣
เข้าร่วมเมื่อ 3 ม.ค. 2020
哈喽，我是瞎鼓捣~2024年，专注AI开发相关技术介绍。
技术资料：techdiylife.github.io/blog/
技术资料：techdiylife.github.io/blog/
GPT-4o，GPT-4o mini，DeepSeek提取GraphRAG知识图谱的比较
本视频中对比一下gpt-4o-mini，GPT-4o，deepseek在graphRAG提取知识图谱任务上的差异
มุมมอง: 3 335
วีดีโอ
从0.5B到340B的LLM都需要多少显存？
มุมมอง 537หลายเดือนก่อน
本期视频介绍了LLM推理时所需显存与推理速度，以及Batch-Size，上下文长度，不同量化如何影响显存与推理速度。
爱鼓捣AI排行榜 1：谁是Ollama，Huggingface上大模型人气王？
มุมมอง 233หลายเดือนก่อน
爱鼓捣AI排行榜 1：谁是Ollama，Huggingface上大模型人气王？
实测2360亿参数的最大开源大模型DeepSeek V2，学生党一样可以玩儿
มุมมอง 5662 หลายเดือนก่อน
实测一下最大的开源大模型DeepSeek-v2，来看看这个2360亿参数的大模型运行需要多少显存。
一次搞懂RAG评估，三个角度LangChain，LlamaIndex，RAGAS看RAG评估
มุมมอง 5902 หลายเดือนก่อน
本视频为你介绍三个权威的RAG评估教程以及两个理解RAG评估指标的视角。 #rag #langchain #llamaindex #ragas #RAG评估
ChatGPT高仿版WebUI：Ollama + Open WebUI本地环境搭建
มุมมอง 4.3K4 หลายเดือนก่อน
ChatGPT高仿版WebUI：Ollama Open WebUI本地环境搭建
两分钟快速入门 ollama windows安装，小白也能在本地运行开源大模型
มุมมอง 1.5K4 หลายเดือนก่อน
两分钟快速入门 ollama windows安装，小白也能在本地运行开源大模型
Linux上搭建Jupyter Notebook开发环境，以及使用GPU的方法
มุมมอง 3545 หลายเดือนก่อน
Linux上搭建Jupyter Notebook开发环境，以及使用GPU的方法
好期待怎麼改進
是尽在第一次创建和索引的时候只需要9美元多，还是以后每一次问题之后的答案索引都需要大概这么多费用？
可以請問視覺化是用哪個軟體??
下载错误咋办
为啥我在用终端或者命令行下载open webui的时候，非常非常慢？
這推理速度實在太悲慘，還是乖乖的買h100或是用together ai grok等雲端跑開源大型模型
重點是 user query 何時使用 local 何時使用 global 檢索是一個問題
老师，看来现在可以用 GPT-4o mini 来做了，但是不知道效果怎么样，价钱倒是下去了
效果一般，可以看我最新视频。
deepseek 有 embedding ？如何使用ollama 啊，本地一直报错
没有embedding模型。本地使用ollama的话参考置顶文档里推荐的版本
GraphRAG共学相关文档：techdiylife.github.io/blog/blog.html?category1=c01&blogid=0061
deepseek 确实强啊，价格还便宜。
我现在编码问题全部转向使用 deepseek code v2模型了。真香
500行感觉价格仍然很贵。要用GraphRAG检索私人数据库还是太遥远了。
知识图谱构建贵，创建一次可以一直用
那图谱是用啥工具查看的
Gephi
Embedding模型就是將文字轉成embedding的一種工具嗎，如果說一個embedding模型處理中文的效果比較好，代表的意思是佔得內存比較少嗎
请问，这个方案如何能够调用给微信小程序的客服？有没有接口，希望得到您的支持
现在有很多支持微信的chatbot，比如chatgpt-mirai-qq-bot
@@techdiylife 谢谢
@@techdiylife 谢谢您
想知道目前存在的缺陷是什麼？
缺陷：使用费用高，检索回答问题用时比较长，提取的节点也有很多需要优化的地方。
@@techdiylife 謝謝你的回覆，因為你的介紹我得以接觸到Gephi，這是新的領域，knowledge graph 很有趣，謝謝你 : )
費用高檢索長在上支影片你有提到，只是提取的节点优化的細節及可以如何優化，希望下一支影片細節您可以提一下 （已按贊👍）
/ˈtɝː.boʊ/
GraphRAG共学任务及分享： techdiylife.github.io/blog/blog.html?category1=c01&blogid=0061
GraphRAG共学任务及分享： techdiylife.github.io/blog/blog.html?category1=c01&blogid=0061
这AI机器人读稿，能不能把稿子写的简洁明了，不要那么啰嗦。几句话重复的在那说。最后也没得出个结论。
請教是否可以利用Graph的關聯結構，在需要推理來連結上下文的表現上會比較好？
请问要部署 embedding 模型并提供一个 API 接口有相关的程序吗？
我用过Ollama，不过他支持的embedding模型比较少。你可以看看vllm， lm studio等工具
可以分享一下要如何讓GraphRAG支援中文的具體作法嗎？
大佬，话说这些关系图生成的源数据是用graphrag 里哪个的啊，我一直想看到graphrag 中的这种图
同求
需要修改设置 graphml: true，让GraphRAG保存为graphml文件。然后用Gephi工具打开文件。中文的话，需要转码。
@@techdiylife 请问如何解码
請問下 是否可以提供您使用的本地LLM的硬件設備規格呢? 感謝
Gemini API會降低一點費用，也可以得到還不錯的內容回答
太好了，正好有用
又貴又慢,贏那一點點,cp值不高,如果要做貫穿全文的回答,在處理文本後再用summary chain做一份摘要,就具有貫穿全文的能力與回答細節的能力,相較下較便宜
KG并不新，不过GraphRAG是一种新的实现方法。
比這要幹嘛？下個禮拜又有其他一哥了
费钱啊，换成国产deepseek-chat模型最后跑不过，因为json格式不闭合，造成执行失败。
是不是因为max-token影响的？也可能是生成中断了。目前这个程序还是有很多地方需要优化的。
27b還是太肥了
用本地模型跑一个试试
在试呢，回头会分享。
@@techdiylife 本地报错 nomic-embed-text 快出第二集
我很好奇生产的索引是什么样子的。可以用来生产知识图谱，自己看而不是给AI吗？
是可以查看的，下次录个视频介绍一下。
Anythinllm 跟這graphrag 是不是差不多？
简单看了一下anytingllm。应该是不一样的。GraphRAG算是一种新的RAG处理方法。
真贵
请问本地安装和网页不同，则选择哪种呢
你好，请问为什么int8和int4的Training using Adam 给的数据是N/A
你要使用量化模型进行训练吗？量化模型训练需要一些特殊的处理。可以去网上找找参考代码。
實際測試起來，計算量頗大，它是一對對計算再排名，如果要即時，這步需要想辦法加速。照博主建議的嘗試了其中一個模型，覺得rerank的效果不明顯，不知道博主認為什麼情況特別適合使用reranker呢？
reranker主要是带来的检索准确度提升。如果提升不大的话，对最终生成可能影响也不大。如果你希望选择尽量少的检索文本时，比如top1，提升准确度就比较关键了。如果选择top5，top10 rerank的影响就不明显。
开始像卖肉的，后来像卖切糕的，最后像卖白粉的
27b试了，回复有中英混杂情况。而且回答内容太长，话痨。
这好像是谷歌模型的特点，爱自言自语。
能不能讲讲低显卡配置的电脑能更好的运行本地化的这些模型
参考这个文档：techdiylife.github.io/blog/topic.html?category2=t08&blogid=0058
视频中文档：techdiylife.github.io/blog/blog.html?category1=c01&blogid=0060
請問有影片1:23當中提到的教程連結嗎，還有最後的討論群，謝謝你
安装windows的docker的时候会出现一堆细节问题要解决，GL
老師您好，請問7b的模型，chunk size和 overlap要設多少？
你说的应该是embedding时的设置吧。这个数值与文本是有关的，chunk-size可以在先设置200到512之间，然后根据表现再调整。
阿里巴巴的qwen2確實太誇張，連好幾位外國的ai大佬們都一至認同阿里的qwen2站在全球開源模型的第一位，今天huggingface的創始人clem都說了已經重新做一次測試，qwen2仍然是第一，大家看清楚啊... 不是自己國內的大佬自吹
来了
清晰易懂，干货满满
这种总结最实在，最受用！辛苦了！
视频中资料：techdiylife.github.io/blog/topic.html?category2=t08&blogid=0058