Kontextverwaltung
Warum die Kosten langer Sitzungen nichtlinear steigen und welche Muster den Verlauf begrenzen.
Die API ist zustandslos. Bei jedem Gesprächsschritt wird die gesamte Unterhaltung erneut gesendet, sodass die Anzahl der Eingabe-Tokens mit dem Gesprächsverlauf wächst — und damit bei jedem weiteren Aufruf auch die Kosten.
Die Struktur des Problems
Eine Unterhaltung mit N Gesprächsschritten, die jeweils ungefähr T Tokens hinzufügen, verursacht insgesamt Eingabe-Tokens in der Größenordnung von N²T/2 statt NT. Eine Verdopplung der Sitzungslänge vervierfacht ungefähr die Kosten für die Eingabe. Deshalb kann ein Agent, der zehn Minuten lang günstig wirkte, nach einer Stunde beunruhigend teuer sein.
Vier bewährte Muster
| Muster | Vorgehen | Nachteil |
|---|---|---|
| Gleitendes Fenster | Die letzten K Gesprächsschritte behalten, den Rest verwerfen | Früher Kontext geht vollständig verloren |
| Fortlaufende Zusammenfassung | Ältere Gesprächsschritte regelmäßig durch eine vom Modell verfasste Zusammenfassung ersetzen | Erfordert einen zusätzlichen Aufruf; bewahrt das Wesentliche |
| Neue Sitzung pro Aufgabe | Bei einem Themenwechsel neu beginnen | Kostenlos und in der Regel die richtige Wahl |
| Auslagern | Den Zustand in Dateien oder einer Datenbank speichern und nur laden, was der aktuelle Schritt benötigt | Größter Aufwand, bestes Ergebnis |
Ältere Gesprächsschritte zusammenfassen
def compact(history, keep=6):
class="s">""class="s">"Replace everything but the last `keep` turns with one summary turn."class="s">""
if len(history) <= keep:
return history
old, recent = history[:-keep], history[-keep:]
summary = summarise(old) class=class="s">"c"># one cheap Haiku call
return [{class="s">"role": class="s">"user", class="s">"content": fclass="s">"Summary of earlier discussion: {summary}"}] + recentFühren Sie die Zusammenfassung mit einem kostengünstigen Modell aus. Es handelt sich um eine Komprimierungsaufgabe, nicht um eine Denkaufgabe.
Tool-Ergebnisse sind meist die Ursache
- Ein Tool, das 500 Zeilen zurückgibt, fügt jeder späteren Anfrage 500 Zeilen hinzu. Begrenzen Sie die Zeilenanzahl oder geben Sie eine Zusammenfassung zusammen mit einer Referenz zurück, über die sich Details bei Bedarf abrufen lassen.
- Vollständige Dateiinhalte, die ein Agent liest, bleiben im Kontext. Lesen Sie den benötigten Abschnitt, nicht die gesamte Datei.
- Screenshots und Bilder werden wie alle anderen Inhalte erneut gesendet — entfernen Sie sie, sobald sie beschrieben wurden.
- Build-Logs und Stacktraces: Behalten Sie die ersten und letzten 50 Zeilen und verwerfen Sie den Mittelteil.
/clear.