État du service et fiabilité
Comment la passerelle gère les défaillances en amont et que faire lorsque le service est dégradé.
Fonctionnement du basculement
Les requêtes sont réparties entre les capacités disponibles en amont. Lorsqu’un fournisseur en amont renvoie une erreur ou est surchargé, le trafic est transféré à un autre plutôt que de provoquer un échec définitif. C’est pourquoi un 529 est plus rare ici que lors d’un appel direct à un seul fournisseur.
Ce que chaque défaillance signifie pour vous
| Vous voyez | Origine du problème | Que faire |
|---|---|---|
529 surchargé | Capacité en amont | Réessayez en espaçant progressivement les tentatives ; le problème se résout généralement en quelques secondes |
500 | Passerelle | Réessayez une fois, puis signalez le problème avec l’identifiant de la requête |
429 | Requêtes simultanées de votre compte | Réduisez le parallélisme — Limites de débit |
| Premier token lent | Mise en file d’attente en amont sous forte charge | Normal pendant les pics de charge ; le streaming permet de le constater plus tôt |
Prévoir un fonctionnement dégradé
- Nouvelle tentative
429,500,502,503et529avec un délai exponentiel entre les tentatives et une variation aléatoire. - Gardez un modèle de secours configuré : passer d’Opus à Sonnet vaut mieux que renvoyer une erreur.
- Définissez des délais d’expiration pour qu’une requête bloquée ne puisse pas monopoliser indéfiniment un processus de traitement.
- Exécutez le
/v1/modelscontrôle de disponibilité dans votre CI afin de détecter un identifiant d’authentification défectueux avant le déploiement.
Pour un incident affectant votre compte, contactez support@aiprimetech.io en indiquant les horodatages et un identifiant de requête.