서비스 상태 및 안정성
게이트웨이가 업스트림 장애를 처리하는 방식과 서비스 성능이 저하되었을 때의 대응 방법.
장애 조치 작동 방식
요청은 업스트림 용량 전반에 분산됩니다. 한 업스트림이 오류를 반환하거나 과부하 상태가 되면, 요청을 완전히 실패시키는 대신 다른 업스트림으로 트래픽을 이동합니다. 이 때문에 529 오류는 단일 제공업체를 직접 호출할 때보다 여기에서 더 드물게 발생합니다.
각 장애가 사용자에게 미치는 영향
| 다음이 표시되고: | 장애 발생 지점 | 대응 방법 |
|---|---|---|
529 과부하 | 업스트림 용량 | 백오프를 적용해 재시도하세요. 대개 몇 초 안에 해소됩니다 |
500 | 게이트웨이 | 한 번 재시도한 뒤 요청 ID와 함께 신고하세요 |
429 | 계정의 동시 실행 수 | 병렬 실행 수를 줄이세요 — 요청 속도 제한 |
| 첫 토큰 응답 지연 | 부하로 인한 업스트림 대기열 | 피크 시간대에는 예상되는 현상입니다. 스트리밍을 사용하면 더 일찍 확인할 수 있습니다 |
서비스 성능 저하에 대비한 설계
- 재시도
429,500,502,503및529지수 백오프와 지터를 적용하세요. - 대체 모델을 설정해 두세요. 오류를 반환하는 것보다 Opus에서 Sonnet으로 전환하는 편이 낫습니다.
- 멈춘 요청이 워커를 무기한 점유하지 않도록 타임아웃을 설정하세요.
- 다음
/v1/models상태 점검을 CI에서 실행하여 배포 전에 잘못된 자격 증명을 발견하세요.
계정에 영향을 미치는 사고가 발생하면 다음으로 문의하세요: support@aiprimetech.io 타임스탬프와 요청 ID를 함께 전달하세요.