Status und Zuverlässigkeit
Wie das Gateway mit Ausfällen vorgelagerter Dienste umgeht und was Sie bei Beeinträchtigungen tun sollten.
So funktioniert Failover
Anfragen werden auf vorgelagerte Kapazitäten verteilt. Wenn ein vorgelagerter Anbieter einen Fehler zurückgibt oder überlastet ist, wird der Datenverkehr zu einem anderen umgeleitet, statt einen endgültigen Fehler zurückzugeben — deshalb ist ein 529 hier seltener als bei einem direkten Aufruf eines einzelnen Anbieters.
Was die einzelnen Fehler für Sie bedeuten
| Sie sehen | Wo der Fehler liegt | Was zu tun ist |
|---|---|---|
529 überlastet | Vorgelagerte Kapazität | Mit zunehmender Wartezeit erneut versuchen; behebt sich meist innerhalb von Sekunden |
500 | Gateway | Einmal erneut versuchen, dann mit der Anfrage-ID melden |
429 | Gleichzeitige Anfragen Ihres Kontos | Parallelität reduzieren — Anfragelimits |
| Verzögerte Ausgabe des ersten Tokens | Warteschlangen beim vorgelagerten Anbieter unter Last | Bei Lastspitzen zu erwarten; Streaming macht es früher sichtbar |
Für eingeschränkten Betrieb auslegen
- Wiederholungsversuch
429,500,502,503und529mit exponentiell zunehmender Wartezeit und zufälliger Streuung. - Halten Sie ein Ersatzmodell konfiguriert — ein Wechsel von Opus zu Sonnet ist besser als die Rückgabe eines Fehlers.
- Legen Sie Zeitlimits fest, damit eine hängen gebliebene Anfrage keinen Worker unbegrenzt blockiert.
- Führen Sie den
/v1/modelsIntegritätscheck in CI aus, damit ungültige Zugangsdaten vor der Bereitstellung erkannt werden.
Bei einem Vorfall, der Ihr Konto betrifft, kontaktieren Sie support@aiprimetech.io mit Zeitstempeln und einer Anfrage-ID.