コンテキスト管理

長いセッションで費用が非線形に増える理由と、履歴の肥大化を抑えるパターン。

APIはステートレスです。ターンごとに会話全体が再送信されるため、会話履歴が長くなるほど入力トークンが増え、その後の呼び出しごとにコストも増加します。

問題の構造

各ターンでおよそTトークンが追加されるNターンの会話では、入力トークンの合計はNTではなく、およそN²T/2になります。セッションの長さを倍にすると、入力の請求額はおよそ四倍になります。そのため、十分間は安く感じられたエージェントでも、一時間後には驚くほど高額になるのです。

有効な四つのパターン

過去のターンの要約

Copydef compact(history, keep=6):
    class="s">""class="s">"Replace everything but the last `keep` turns with one summary turn."class="s">""
    if len(history) <= keep:
        return history
    old, recent = history[:-keep], history[-keep:]
    summary = summarise(old)          class=class="s">"c"># one cheap Haiku call
    return [{class="s">"role": class="s">"user", class="s">"content": fclass="s">"Summary of earlier discussion: {summary}"}] + recent

要約は低コストのモデルで実行してください。これは圧縮タスクであり、推論タスクではありません。

原因の多くはツールの結果

• ツールが500行を返すと、それ以降のすべてのリクエストに500行が含まれます。行数に上限を設けるか、要約と、必要に応じて詳細を取得するためのハンドルを返してください。
• エージェントが読み込んだファイルの全内容はコンテキストに残ります。ファイル全体ではなく、必要な部分を読み込んでください。
• スクリーンショットや画像も、ほかのコンテンツと同様に再送されます。内容を説明したら削除してください。
• ビルドログとスタックトレース：先頭と末尾の50行を残し、中間部分は破棄してください。