ขนาดวิดีโอ: 1280 X 720853 X 480640 X 360
แสดงแผงควบคุมโปรแกรมเล่น
เล่นอัตโนมัติ
เล่นใหม่
fine tuning 模型的不确定性很高。 如果只是简单的教模型他叫什么是比较简单的。 但是fine tuning更复杂的知识库的时候， 感觉微调后模型的输出总是不经如人意。还是回去用RAG 和 提示词工程了。
4900这么个gpu 训练不了把 最多inference 出来都算不错了
我有个疑问 我想在我的python应用中访问这个模型 这个llama3.2支持API调用吗？
你是指使用ollama部署服务，然后使用API调用吗？
@@echonoshy 对的
@@qingsir 一般来说是可以的，ollama支持的话会稍微晚一点，但是你可以通过从huggingface手动下载llama 3.2的gguf模型，然后手动导入到ollama中进行调用。 可以参考我之前相关的几期视频。
@@echonoshy 好的 谢谢
有一个疑问啊：远程登录服务器后，在服务器中执行llamafactory-cli webui命令，会在我本地的机器打开webui吗？
1. 如果你的服务器有公网IP的话，可以直接通过公网ip：port这种形式访问。 2. 如果没有公网ip，可以像我一样使用vscode的端口映射功能。 或者其他的端口映射工具。
@@echonoshy 原来如此，我在B站看了你的视频，以为是本地跑的呢
@@祝云峰 本地的mac只是充当一个前端界面的功能， 实际开发选择性能更好，更具性价比的linux会更好一点
fine tuning 模型的不确定性很高。 如果只是简单的教模型他叫什么是比较简单的。 但是fine tuning更复杂的知识库的时候， 感觉微调后模型的输出总是不经如人意。还是回去用RAG 和 提示词工程了。
4900这么个gpu 训练不了把 最多inference 出来都算不错了
我有个疑问 我想在我的python应用中访问这个模型 这个llama3.2支持API调用吗？
你是指使用ollama部署服务，然后使用API调用吗？
@@echonoshy 对的
@@qingsir 一般来说是可以的，ollama支持的话会稍微晚一点，但是你可以通过从huggingface手动下载llama 3.2的gguf模型，然后手动导入到ollama中进行调用。 可以参考我之前相关的几期视频。
@@echonoshy 好的 谢谢
有一个疑问啊：远程登录服务器后，在服务器中执行llamafactory-cli webui命令，会在我本地的机器打开webui吗？
1. 如果你的服务器有公网IP的话，可以直接通过公网ip：port这种形式访问。 2. 如果没有公网ip，可以像我一样使用vscode的端口映射功能。 或者其他的端口映射工具。
@@echonoshy 原来如此，我在B站看了你的视频，以为是本地跑的呢
@@祝云峰 本地的mac只是充当一个前端界面的功能， 实际开发选择性能更好，更具性价比的linux会更好一点