Status e confiabilidade
Como o gateway lida com falhas nos provedores de origem e o que fazer quando há degradação do serviço.
Como funciona a comutação por falha
As requisições são distribuídas entre as capacidades dos provedores de origem. Quando um deles retorna um erro ou está sobrecarregado, o tráfego é direcionado a outro, em vez de resultar em uma falha definitiva — por isso, um 529 aqui é mais raro do que ao chamar um único provedor diretamente.
O que cada falha significa para você
| Você vê | Onde está a falha | O que fazer |
|---|---|---|
529 sobrecarregado | Capacidade do provedor de origem | Tente novamente com intervalos progressivos; geralmente se resolve em segundos |
500 | Gateway | Tente novamente uma vez e depois reporte com o ID da requisição |
429 | Simultaneidade da sua conta | Reduza o paralelismo — Limites de requisições |
| Demora no primeiro token | Fila no provedor de origem sob carga | É esperado nos horários de pico; o streaming permite perceber isso mais cedo |
Preparação para a degradação do serviço
- Nova tentativa
429,500,502,503e529com espera exponencial e variação aleatória. - Mantenha um modelo alternativo configurado — passar de Opus para Sonnet é melhor do que retornar um erro.
- Defina tempos limite para que uma requisição travada não ocupe um worker indefinidamente.
- Execute a
/v1/modelsverificação de integridade na CI para detectar uma credencial inválida antes da implantação.
Para um incidente que afete sua conta, entre em contato com support@aiprimetech.io com os horários das ocorrências e um ID de requisição.