可用性与可靠性
网关如何处理上游故障，以及服务降级时该怎么做。
故障转移机制
请求会分配到不同的上游容量。当某个上游返回错误或过载时，流量会转移到其他上游，而不是直接返回硬故障——这就是为什么 529 在这里比直接调用单个提供商更少见。
各类故障对您的影响
| 你看到 | 故障位置 | 处理方法 |
|---|---|---|
529 过载 | 上游容量 | 采用退避策略重试；通常几秒内即可恢复 |
500 | 网关 | 重试一次，然后附上请求 ID 报告问题 |
429 | 您账户的并发量 | 降低并行度—— 速率限制 |
| 首个 token 返回缓慢 | 负载下的上游排队 | 高峰期属于预期情况；流式传输能更早体现这一现象 |
面向服务降级进行设计
- 重试
429,500,502,503和529，并采用指数退避和随机抖动。 - 保持配置备用模型——从 Opus 降级到 Sonnet 比返回错误更好。
- 设置超时，避免停滞的请求无限期占用工作进程。
- 运行
/v1/models健康检查，并将其纳入 CI，以便在部署前发现失效的凭据。
如果事件影响到您的账户，请联系 support@aiprimetech.io ，并提供时间戳和请求 ID。