Portkey-AI gateway
在 GitHub 上有一个称之为 “AI Gateway（AI 网关）” 的工具。
通过统一简单的 API，让你轻松快速接入 100 多种大语言模型，如 OpenAI、Anthropic、Mistral、LLama2、Google Gemini 等。
GitHub：github.com/Portkey-AI/gateway
具有如下特点：
-
占用空间极小，仅仅约 45kb，但其处理速度极快，达到快 9.9 倍。
-
可以同时连接多个模型，并能处理多个模型、服务提供商和密钥之间的负载平衡。
-
设置故障转移机制，当一个模型出现无法使用情况，可自动切换到可用模型，确保你的应用持续稳定运行。
-
默认配置自动重试，并采用指数回退策略，进一步提高请求的稳定性。
-
可根据需求添加中间件，满足你个性化需求。
-
已经在超过 100B Tokens 上进行了实战测试。
