【Github项目更新】使用 cloudflare worker 搭建反向代理项目更新,支持通过路由参数指定平台,支持结果缓存,可以在沉浸式翻译插件中直接使用 LLaMA-3 了。
ฝัง
- เผยแพร่เมื่อ 5 มิ.ย. 2024
- 之前在 cloudflare worker 搭建 LLM API 反向代理( • 【教程】使用 Cloudflare Work... ) 中,聊了怎么使用 cloudflare worker 实现 AI 模型 API 的反向代理,支持平台 #openai 、#gemini (Google) 及 #groq 。
本次主要更新有:
1. 添加新版本接口,支持通过路由参数指定平台(OpenAI, Groq etc.),可结合 chatbot,沉浸式翻译插件等工具使用。
2. 支持缓存结果,短期内相同请求会直接读取缓存数据,提升响应速度,并节省 token 数。
0. 思考了人生的意义,发现了 42。
代码已更新到 GitHub(github.com/ultrasev/llmproxy)...
#cloudflare #api #代理 #openai #googlegemini #技术分享
时间戳 :
0:00 - 本期内容介绍
1:05 - 第一处更新:支持通过路由参数指定平台
3:01 - 第二处更新:支持结果缓存
-------------------------------------------------------------------
资源及链接:
- LLMProxy 项目地址及使用示例:github.com/ultrasev/llmproxy
- 测试接口:llmapi.ultrasev.com
- 沉浸式翻译插件:immersivetranslate.com/en/
- Groq API 使用示例:console.groq.com/docs/quickstart - วิทยาศาสตร์และเทคโนโลยี
支持💯
谢谢支持