稼働状況と信頼性
ゲートウェイによる上流サービスの障害への対応と、サービスの一部で性能や可用性が低下した場合の対処法。
フェイルオーバーの仕組み
リクエストは上流の処理容量に分散されます。ある上流サービスがエラーを返すか過負荷になった場合、処理を失敗させるのではなく、トラフィックを別のサービスに移します。そのため、次のエラーは 529 単一のプロバイダーを直接呼び出す場合よりも、ここでは発生しにくくなります。
各障害がお客様に及ぼす影響
| 表示されるのが | 障害の発生箇所 | 対処方法 |
|---|---|---|
529 過負荷 | 上流の処理容量 | バックオフを適用して再試行してください。通常は数秒で解消します |
500 | ゲートウェイ | 一度再試行し、その後リクエスト ID を添えて報告してください |
429 | アカウントの同時実行数 | 並列実行数を減らしてください — レート制限 |
| 最初のトークンが届くまでの遅延 | 負荷による上流でのキュー待ち | ピーク時には想定される動作です。ストリーミングを使うと、応答をより早く確認できます |
性能低下に備えた設計
- 再試行
429,500,502,503と529指数バックオフとジッターを使用してください。 - フォールバック用のモデルを設定しておいてください。Opus から Sonnet に切り替えて応答を返すほうが、エラーを返すよりもよい結果になります。
- 停止したリクエストがワーカーを無期限に占有しないよう、タイムアウトを設定してください。
- 次のものを実行してください：
/v1/modelsCI でヘルスチェックを実行し、デプロイ前に無効な認証情報を検出してください。
アカウントに影響するインシデントについては、次の窓口にお問い合わせください： support@aiprimetech.io タイムスタンプとリクエスト ID を添えてください。