Bewährte Verfahren für den Produktivbetrieb

Was stimmen muss, bevor eine Integration echten Datenverkehr verarbeitet.

Zuverlässigkeit

• Wiederholen Sie Anfragen bei den richtigen Statuscodes. 429, 500, 502, 503, 529 mit exponentiellem Backoff und Jitter. Wiederholen Sie niemals blind 400, 401, 402 oder 403.
• Legen Sie Zeitlimits fest. Eine lange Generierung kann durchaus Minuten dauern; ein hängender Socket sollte Ihren Worker nicht mit lahmlegen. 120 Sekunden sind eine sinnvolle Obergrenze für Aufrufe ohne Streaming.
• Begrenzen Sie die Parallelität mit einem Semaphor, statt alles gleichzeitig abzuschicken und abgewiesene Anfragen erneut zu senden.
• Halten Sie ein Ersatzmodell bereit. Wenn Ihr primäres Modell überlastet ist, ist der Wechsel zu einem kleineren Modell besser als eine Fehlermeldung.

Kosten

• Setzen Sie max_tokens bei jedem Aufruf. Es ist eine Ausgabenobergrenze, kein Richtwert.
• Leiten Sie Anfragen je nach Aufgabe weiter — siehe Kostenkontrolle.
• Aktivieren Sie Prompt-Caching für stabile Präfixe.
• Protokollieren Sie usage pro Anfrage mit einer Aufgabenkennzeichnung, damit Sie die Ausgaben später zuordnen können.

Sicherheit

• Schlüssel gehören in Umgebungsvariablen oder einen Secret Manager — niemals ins Repository und niemals in ein Client-Bundle.
• Ein Schlüssel pro Dienst, damit sich der Zugriff gezielt widerrufen lässt.
• Erstellen Sie Prompts niemals, indem Sie nicht vertrauenswürdige Benutzereingaben per Zeichenkettenverkettung mit Anweisungen verbinden; belassen Sie Benutzerinhalte in einer user Nachricht und Anweisungen in system.
• Behandeln Sie Modellausgaben als nicht vertrauenswürdig. Verwenden Sie nicht eval darauf und führen Sie generiertes SQL nicht mit einer Rolle aus, die Schreibzugriff hat.

Beobachtbarkeit

• Protokollieren Sie Modell, Latenz, usage, stop_reason und Ihren eigenen Aufgabentyp bei jedem Aufruf.
• Richten Sie einen Alarm für die stop_reason: max_tokens Rate ein — ein Anstieg bedeutet, dass Antworten abgeschnitten werden.
• Erfassen Sie die Kosten pro Aufgabentyp, nicht nur die Gesamtkosten. Gesamtkosten verbergen, bei welcher Arbeitslast sich die Kosten verschlechtert haben.