Stato e affidabilità
Come il gateway gestisce i guasti dei servizi a monte e cosa fare quando il servizio è degradato.
Come funziona il failover
Le richieste vengono distribuite tra le capacità dei fornitori a monte. Quando un fornitore restituisce un errore o è sovraccarico, il traffico viene spostato su un altro anziché restituire un errore definitivo: ecco perché un 529 qui è più raro rispetto a una chiamata diretta a un singolo fornitore.
Cosa comporta per te ogni tipo di errore
| Vedi | Dove si trova il problema | Cosa fare |
|---|---|---|
529 sovraccarico | Capacità dei fornitori a monte | Riprova con attese crescenti; di solito si risolve in pochi secondi |
500 | Gateway | Riprova una volta, poi segnala il problema indicando l'ID della richiesta |
429 | Concorrenza del tuo account | Riduci il parallelismo — Limiti di frequenza |
| Primo token lento | Accodamento presso il fornitore a monte sotto carico | È normale durante i picchi; lo streaming lo rende visibile prima |
Progettare per il degrado del servizio
- Nuovo tentativo
429,500,502,503e529con attese esponenziali e una componente casuale. - Mantieni configurato un modello di fallback: passare da Opus a Sonnet è meglio che restituire un errore.
- Imposta dei timeout affinché una richiesta bloccata non possa occupare un worker a tempo indefinito.
- Esegui il controllo
/v1/modelsdi integrità nella CI per rilevare una credenziale non funzionante prima del deployment.
Per un incidente che riguarda il tuo account, contatta support@aiprimetech.io indicando i timestamp e un ID di richiesta.