Portkey-AI gateway

在 GitHub 上有一个称之为 “AI Gateway（AI 网关）” 的工具。

通过统一简单的 API，让你轻松快速接入 100 多种大语言模型，如 OpenAI、Anthropic、Mistral、LLama2、Google Gemini 等。

GitHub：github.com/Portkey-AI/gateway

具有如下特点：

• 占用空间极小，仅仅约 45kb，但其处理速度极快，达到快 9.9 倍。

• 可以同时连接多个模型，并能处理多个模型、服务提供商和密钥之间的负载平衡。

• 设置故障转移机制，当一个模型出现无法使用情况，可自动切换到可用模型，确保你的应用持续稳定运行。

• 默认配置自动重试，并采用指数回退策略，进一步提高请求的稳定性。

• 可根据需求添加中间件，满足你个性化需求。

• 已经在超过 100B Tokens 上进行了实战测试。