Trạng thái và độ tin cậy
Cách gateway xử lý lỗi từ hệ thống thượng nguồn và những việc cần làm khi một thành phần bị suy giảm chất lượng.
Cách hoạt động của chuyển đổi dự phòng
Yêu cầu được phân phối giữa các nguồn năng lực thượng nguồn. Khi một nguồn thượng nguồn trả về lỗi hoặc bị quá tải, lưu lượng sẽ chuyển sang nguồn khác thay vì trả về lỗi không thể xử lý — đó là lý do một 529 ở đây ít xảy ra hơn so với khi gọi trực tiếp một nhà cung cấp duy nhất.
Ý nghĩa của từng lỗi đối với bạn
| Bạn thấy | Lỗi nằm ở đâu | Cách xử lý |
|---|---|---|
529 quá tải | Năng lực thượng nguồn | Thử lại với thời gian chờ tăng dần; thường hết sau vài giây |
500 | Cổng kết nối | Thử lại một lần, sau đó báo cáo kèm ID yêu cầu |
429 | Số yêu cầu đồng thời của tài khoản bạn | Giảm mức độ xử lý song song — Giới hạn tốc độ |
| Token đầu tiên trả về chậm | Yêu cầu xếp hàng ở thượng nguồn khi tải cao | Thường xảy ra vào giờ cao điểm; truyền luồng giúp bạn thấy phản hồi sớm hơn |
Thiết kế để ứng phó khi hiệu năng suy giảm
- Thử lại
429,500,502,503và529với thời gian chờ tăng theo cấp số nhân và độ ngẫu nhiên. - Luôn cấu hình một mô hình dự phòng — chuyển từ Opus xuống Sonnet vẫn tốt hơn trả về lỗi.
- Đặt thời gian chờ tối đa để một yêu cầu bị treo không thể giữ tiến trình xử lý vô thời hạn.
- Chạy
/v1/modelskiểm tra tình trạng trong CI để phát hiện thông tin xác thực không hợp lệ trước khi triển khai.
Đối với sự cố ảnh hưởng đến tài khoản của bạn, hãy liên hệ support@aiprimetech.io kèm dấu thời gian và ID yêu cầu.