Anfragelimits

Wie die Drosselung funktioniert, was ein 429 hier bedeutet und wie Sie einen Client entwickeln, der keinen auslöst.

Limits sorgen für eine faire Verteilung der gemeinsam genutzten Upstream-Kapazität. Sie gelten pro Konto, nicht pro Schlüssel. Zusätzliche Schlüssel erhöhen Ihre Obergrenze daher nicht.

Was begrenzt wird

Tarife mit unbegrenzter Nutzung verwenden Fair-Use-Limits anstelle eines Guthabens — sie beseitigen die Gebühr pro Token, nicht die Obergrenze für gleichzeitige Anfragen.

Mit 429 richtig umgehen

1. Verlängern Sie die Wartezeit exponentiell mit zufälliger Streuung — 1 s, 2 s, 4 s, 8 s, jeweils zuzüglich oder abzüglich eines zufälligen Anteils.
2. Begrenzen Sie gleichzeitige Anfragen clientseitig mit einem Semaphor, statt alle auf einmal zu senden und abgewiesene Anfragen erneut zu versuchen.
3. Stellen Sie Stapelverarbeitung in eine Warteschlange, statt sie maximal zu parallelisieren; der Durchsatz wird durch Tokens pro Minute begrenzt, nicht durch die Anzahl geöffneter Sockets.
4. Behandeln Sie 529 anders als 429 — hier liegt die Ursache in der Upstream-Kapazität, nicht bei Ihnen, und das Problem behebt sich meist innerhalb von Sekunden.

Copyimport asyncio

sem = asyncio.Semaphore(8)      class=class="s">"c"># ceiling on concurrency, tune to your plan

async def ask(client, body):
    async with sem:
        return await client.post(class="s">"/v1/messages", json=body)

Die Last reduzieren statt Anfragen wiederholen

• Leiten Sie einfache Aufgaben an claude-haiku-4-5 weiter — kleinere Modelle werden schneller fertig und belegen einen Slot kürzer.
• Aktivieren Sie Prompt-Caching: Zwischengespeicherte Präfixe reduzieren die Eingabe-Tokens und damit die Belastung des Token-Limits pro Minute.
• Kürzen Sie den Gesprächsverlauf; siehe Kontextverwaltung.
• Bündeln Sie Offline-Aufgaben für Zeiten mit geringer Auslastung.