Статус и надежность
Как шлюз обрабатывает сбои вышестоящих сервисов и что делать при ухудшении работы.
Как работает переключение при сбоях
Запросы распределяются между мощностями вышестоящих поставщиков. Когда один из них возвращает ошибку или перегружен, трафик переключается на другого, вместо того чтобы возвращать окончательную ошибку, — поэтому 529 здесь встречается реже, чем при прямом обращении к одному поставщику.
Что каждый сбой означает для вас
| Вы видите | Где возникла проблема | Что делать |
|---|---|---|
529 перегружено | Мощности вышестоящего поставщика | Повторите попытку с увеличением задержки; обычно проблема исчезает за несколько секунд |
500 | Шлюз | Повторите попытку один раз, затем сообщите о проблеме, указав идентификатор запроса |
429 | Количество одновременных запросов вашей учётной записи | Уменьшите количество параллельных запросов — Ограничения частоты запросов |
| Долгое ожидание первого токена | Очередь у вышестоящего поставщика под нагрузкой | Ожидаемо в часы пик; потоковая передача позволяет раньше заметить задержку |
Подготовка к снижению качества обслуживания
- Повторная попытка
429,500,502,503и529с экспоненциальным увеличением задержки и случайным разбросом. - Держите резервную модель настроенной — переход с Opus на Sonnet предпочтительнее возврата ошибки.
- Установите тайм-ауты, чтобы зависший запрос не мог удерживать рабочий процесс бесконечно.
- Запускайте
/v1/modelsпроверку работоспособности в CI, чтобы обнаружить недействительные учётные данные до развёртывания.
Если инцидент затрагивает вашу учётную запись, свяжитесь с support@aiprimetech.io и укажите временные метки и идентификатор запроса.