Limiti di frequenza

Come funziona la limitazione delle richieste, cosa significa un 429 in questo contesto e come creare un client che non lo provochi.

I limiti garantiscono un uso equo della capacità condivisa dei fornitori a monte. Si applicano per account, non per chiave, quindi aggiungere chiavi non aumenta il limite massimo.

Cosa viene limitato

I piani illimitati applicano limiti di uso equo anziché un saldo di crediti: eliminano il costo per token, non il limite massimo di richieste simultanee.

Gestire correttamente 429

1. Aumenta esponenzialmente l'attesa tra i tentativi con una variazione casuale: un secondo, due secondi, quattro secondi, otto secondi, ciascuno più o meno una frazione casuale.
2. Limita le richieste simultanee lato client con un semaforo, invece di inviarle tutte e riprovare quelle rifiutate.
3. Metti in coda le elaborazioni in batch invece di parallelizzarle al massimo; il throughput è limitato dai token al minuto, non dal numero di socket che apri.
4. Tratta 529 in modo diverso da 429 — dipende dalla capacità del fornitore a monte, non da te, e di solito si risolve in pochi secondi.

Copyimport asyncio

sem = asyncio.Semaphore(8)      class=class="s">"c"># ceiling on concurrency, tune to your plan

async def ask(client, body):
    async with sem:
        return await client.post(class="s">"/v1/messages", json=body)

Ridurre il carico invece di riprovare

• Instrada le attività meno onerose verso claude-haiku-4-5 — i modelli più piccoli terminano prima e occupano uno slot per meno tempo.
• Attiva la cache dei prompt: i prefissi in cache riducono i token in ingresso e quindi il carico sul limite di token al minuto.
• Riduci la cronologia della conversazione; vedi Gestione del contesto.
• Raggruppa le attività offline in batch da eseguire nelle fasce di minor traffico.