正常运行的集成在生产环境中突然开始失败,最常见的原因就是速率限制。这里介绍各项限制实际约束的内容,以及如何在开发时应对这些限制。
429 表示触发了其中一项限制,并非服务中断或计费问题。| 限制 | 统计内容 | 超限时的典型表现 |
|---|---|---|
| RPM — 每分钟请求数 | 滚动一分钟内允许发起的请求数量。 | 突发请求失败,而平稳流量正常。 |
| TPM — 每分钟 token 数 | 滚动一分钟内的输入和输出 token 总数。 | 少量大上下文调用失败,而大量小上下文调用正常。 |
| 并发 | 同一时刻正在处理的请求数。 | 并行工作进程或智能体停滞;流式传输会加剧这一问题。 |
流式响应从首个 token 到最后一个 token 都会占用一个并发名额。一次耗时 60 秒的生成会占用该名额整整一分钟,因此并发数为 1 时,即使 RPM 看起来很充裕,也基本只能同时处理一个长请求。Claude Code、Cline 和 Aider 等智能体工具会同时开启多个流,这就是它们最先触及并发限制的原因。
采用带随机抖动的指数退避进行重试:每次尝试将等待时间加倍,并加入少量随机偏移,避免重试客户端再次同步形成突发流量。如果响应中包含 retry-after 响应头,请遵循其要求。限制总尝试次数,并显示清晰的错误信息,避免无限重试。在客户端排队,以主动控制流量,而不是在触及限制后才发现上限。
新账户的初始并发数和 RPM 较为保守,以免单个失控脚本影响所有用户。积累使用记录后,可申请提高这两项限额,请向支持团队简要说明您的工作负载。固定费用的 无限量套餐 受公平使用限制约束,无需按 token 计费;按量付费额度充值时可获得 7.69231x 面值的额度。
这表示触发了速率限制,可能是每分钟请求数、每分钟 token 数或并发请求数超限。这并非计费失败或服务中断。请采用指数退避进行重试,并在返回 retry-after 响应头时遵循其要求。
智能体工具会同时发起多个流式请求。流式传输会在整个响应期间占用一个并发名额,因此少量并行的长生成任务就会耗尽并发名额,而您的每分钟请求数看起来仍然很低。
积累一定使用记录后,请联系支持团队,简要说明工作负载和所需并发数。初始限额较为保守,以保护共享容量;对于实际工作负载,通常都可提高限额。
是的,以公平使用限制的形式适用。无限量套餐免除了按 token 计费,但上游容量的物理约束仍然存在,因此并发和突发流量限制依然适用。
AI Prime Tech 是独立的 API 网关,与 Anthropic 无关联,也未获得其认可或赞助。“Claude”和“Anthropic”是 Anthropic 的商标。用于对比的 Anthropic 官方标价来自 Anthropic 公布的定价,可能会发生变化;我们的费率读取自我们自己的实时目录。估算结果根据您输入的 token 数量计算,与实际用量会有所不同。