【Github项目更新】使用 cloudflare worker 搭建反向代理项目更新,支持通过路由参数指定平台,支持结果缓存,可以在沉浸式翻译插件中直接使用 LLaMA-3 了。

แชร์
ฝัง
  • เผยแพร่เมื่อ 5 มิ.ย. 2024
  • 之前在 cloudflare worker 搭建 LLM API 反向代理( • 【教程】使用 Cloudflare Work... ) 中,聊了怎么使用 cloudflare worker 实现 AI 模型 API 的反向代理,支持平台 #openai 、#gemini (Google) 及 #groq 。
    本次主要更新有:
    1. 添加新版本接口,支持通过路由参数指定平台(OpenAI, Groq etc.),可结合 chatbot,沉浸式翻译插件等工具使用。
    2. 支持缓存结果,短期内相同请求会直接读取缓存数据,提升响应速度,并节省 token 数。
    0. 思考了人生的意义,发现了 42。
    代码已更新到 GitHub(github.com/ultrasev/llmproxy)...
    #cloudflare #api #代理 #openai #googlegemini #技术分享
    时间戳 :
    0:00 - 本期内容介绍
    1:05 - 第一处更新:支持通过路由参数指定平台
    3:01 - 第二处更新:支持结果缓存
    -------------------------------------------------------------------
    资源及链接:
    - LLMProxy 项目地址及使用示例:github.com/ultrasev/llmproxy
    - 测试接口:llmapi.ultrasev.com
    - 沉浸式翻译插件:immersivetranslate.com/en/
    - Groq API 使用示例:console.groq.com/docs/quickstart
  • วิทยาศาสตร์และเทคโนโลยี

ความคิดเห็น • 2