Giới hạn tốc độ là nguyên nhân phổ biến nhất khiến một tích hợp đang hoạt động đột nhiên gặp lỗi trong môi trường production. Dưới đây là những gì mỗi giới hạn thực sự ràng buộc và cách xây dựng hệ thống để xử lý chúng.
429 có nghĩa là đã chạm một trong các giới hạn đó — đây không phải sự cố ngừng dịch vụ hay vấn đề thanh toán.| Giới hạn | Đại lượng được tính | Dấu hiệu thường gặp khi vượt giới hạn |
|---|---|---|
| RPM — số yêu cầu mỗi phút | Số yêu cầu bạn có thể bắt đầu trong một khoảng thời gian một phút trượt. | Các đợt yêu cầu dồn dập thất bại trong khi lưu lượng đều đặn vẫn thành công. |
| TPM — số token mỗi phút | Tổng số token đầu vào và đầu ra trong một khoảng thời gian một phút trượt. | Một vài lần gọi với ngữ cảnh lớn thất bại trong khi nhiều lần gọi nhỏ vẫn thành công. |
| Khả năng xử lý đồng thời | Số yêu cầu đang được xử lý tại cùng một thời điểm. | Các tiến trình xử lý song song hoặc tác nhân bị đình trệ; truyền trực tuyến khiến tình trạng tệ hơn. |
Một phản hồi truyền trực tuyến chiếm suất xử lý đồng thời từ token đầu tiên đến token cuối cùng. Một lượt tạo nội dung kéo dài 60 giây giữ suất đó trong cả một phút, nên giới hạn đồng thời 1 khiến bạn chỉ xử lý được gần một yêu cầu dài tại một thời điểm, bất kể RPM có vẻ rộng rãi đến đâu. Các công cụ tác nhân như Claude Code, Cline và Aider mở nhiều luồng cùng lúc, nên chúng thường chạm giới hạn đồng thời trước tiên.
Thử lại với thời gian chờ tăng theo cấp số nhân và độ lệch ngẫu nhiên — nhân đôi thời gian chờ sau mỗi lần thử và thêm một khoảng lệch ngẫu nhiên nhỏ để các máy khách đang thử lại không đồng bộ lại thành một đợt yêu cầu dồn dập khác. Tuân thủ header retry-after khi có. Giới hạn tổng số lần thử và hiển thị lỗi rõ ràng thay vì thử lại mãi. Dùng hàng đợi phía máy khách để chủ động điều tiết lưu lượng thay vì chỉ biết mức trần khi chạm giới hạn.
Tài khoản mới bắt đầu với giới hạn đồng thời và RPM thận trọng để một tập lệnh chạy mất kiểm soát không làm giảm chất lượng dịch vụ của mọi người. Cả hai đều được tăng theo yêu cầu khi đã có lịch sử sử dụng — hãy liên hệ bộ phận hỗ trợ kèm mô tả ngắn về khối lượng công việc của bạn. Các gói có mức phí cố định không giới hạn chịu sự điều chỉnh của giới hạn sử dụng hợp lý thay vì tính phí theo token, và số dư thanh toán theo mức sử dụng được nạp với mệnh giá 7.69231x.
Lỗi này có nghĩa là đã chạm giới hạn tốc độ — số yêu cầu mỗi phút, số token mỗi phút hoặc số yêu cầu đồng thời. Đây không phải lỗi thanh toán hay sự cố ngừng dịch vụ. Hãy thử lại với thời gian chờ tăng theo cấp số nhân và tuân thủ header retry-after nếu được trả về.
Các công cụ tác nhân gửi nhiều yêu cầu truyền trực tuyến cùng lúc. Truyền trực tuyến giữ một suất xử lý đồng thời trong toàn bộ phản hồi, nên chỉ vài lượt tạo nội dung dài chạy song song cũng có thể dùng hết số suất đồng thời trong khi số yêu cầu mỗi phút của bạn vẫn có vẻ thấp.
Hãy liên hệ bộ phận hỗ trợ khi bạn đã có lịch sử sử dụng, kèm mô tả ngắn về khối lượng công việc và số yêu cầu đồng thời bạn cần. Giới hạn ban đầu được đặt thận trọng để bảo vệ năng lực xử lý dùng chung và thường xuyên được tăng cho khối lượng công việc thực tế.
Có, dưới dạng giới hạn sử dụng hợp lý. Các gói không giới hạn loại bỏ việc tính phí theo token, chứ không loại bỏ những ràng buộc vật lý về năng lực xử lý của nhà cung cấp phía trên, nên giới hạn đồng thời và giới hạn yêu cầu dồn dập vẫn được áp dụng.
Cùng các mô hình, cùng cửa sổ ngữ cảnh, chỉ cần thay URL cơ sở. Thanh toán theo mức sử dụng hoặc chọn gói không giới hạn với mức phí cố định.
Lấy khóa API Xem các gói không giới hạnAI Prime Tech là cổng API độc lập, không có quan hệ liên kết với Anthropic và không được Anthropic chứng thực hay tài trợ. “Claude” và “Anthropic” là các nhãn hiệu của Anthropic. Giá niêm yết chính thức của Anthropic được hiển thị để so sánh lấy từ bảng giá do Anthropic công bố và có thể thay đổi; mức giá của chúng tôi được đọc từ danh mục cập nhật trực tiếp của chúng tôi. Các ước tính được tính dựa trên số lượng token bạn nhập và sẽ khác với mức sử dụng thực tế.