【教程】使用 Cloudflare Worker 搭建反向代理，本地通过 API 直接调用 GPT、Gemini、Llama3 等语言模型

本期聊一下如何使用 cloudflare worker 搭建一个反向代理，无需魔法即可调用 OpenAI, Google, Groq 等平台的 LLM API。
Github 仓库：github.com/ult...
Demo API: llmapi.ultrase...， 长期有效
#cloudflare #llm #gpt #bard #llama3 #groq

[@RCCarl-i3r]

多谢分享，请教一下cloudflare worker就近原则，如果HK用户用它的话，是不是还是走HK服务器，所以还是调用不了API？谢谢。

[@slippertopia]

对，一个方法是使用vercel 反代，vercel 默认是美国东部服务器。

[@RCCarl-i3r]

@@slippertopia 明白了， 多谢多谢，博主有时间能否出个vercel的一键部署，照顾一下我们这些在HK的兄弟们。如果有的话，不知道能否开打赏，我愿意赞助100RMB，虽然金额不多，但是可以略表敬意，感谢感谢。

[@slippertopia]

@@RCCarl-i3r Okay ，等我找时间出一个视频。 不用客气，共同学习。

[@RCCarl-i3r]

@@slippertopia 感恩，拜谢。

[@上官博儒]

这是不是OpenAI 接口地址“BASE_URL” 还需要key吗

[@slippertopia]

也是需要的，需要设置自己的密钥。 Github 网页有示例

[@上官博儒]

@@slippertopia 好吧，现在卖号的一般都带了反向代理地址了

[@RayY-r4j]

省了一个服务器

[@sapphiresandsoutdoorliving]

我用你的url就能跑通，但我将自己部署的一换，这是为啥？
在python的报错：
print(response.choices[0].message.content)
AttributeError: 'str' object has no attribute 'choices'

[@slippertopia]

方便说一下你的 API url 不，我找时间测测？

[@MILKMILKMANGO]

大神好，请问自己的子域名是什么呢？需要另外购买吗？

[@slippertopia]

不需要另外购买，比如你买了 abc.com，绑定自定义子域名时，加个前缀就可以，比如 api.abc.com，写什么都可以。

[@haowang7227]

这个可以放在国内的云服务器部署的oneapi吗

[@slippertopia]

可以的，这个项目的一个主要目的就是这个。 绕过封锁。

[@cslhky]

客户端如何调用api？

[@slippertopia]

Python代码里吗？直接使用 OpenAI的sdk base url 写视频里面的就可以

[@Looo-xv5ky]

反代/v2/gemini在沉浸式翻译里没有响应。

[@Looo-xv5ky]

CF会报错Error 1101

[@slippertopia]

接口是 llmapi.ultrasev.com/v2/gemini 吗？

[@Looo-xv5ky]

@@slippertopia 没有用这个接口，用的是自己在CF上搭的。浏览器直接访问api链接页面的时候/v2/openai正常显示， 访问/v2/gemini和/v2/groq CF都会报错1101。

[@slippertopia]

@@Looo-xv5ky Gemini Groq 也都兼容了 OpenAI 的 API 规范，有试过用 OpenAI 的 SDK 调用过没。