Quản lý ngữ cảnh

Vì sao chi phí của các phiên dài tăng phi tuyến và những cách giữ lịch sử trong giới hạn.

API không lưu trạng thái. Mỗi lượt đều gửi lại toàn bộ cuộc hội thoại, nên số token đầu vào tăng theo bản ghi hội thoại — và chi phí cũng tăng theo ở mọi lệnh gọi tiếp theo.

Đặc điểm của vấn đề

Một cuộc hội thoại gồm N lượt, mỗi lượt thêm khoảng T token, tiêu tốn tổng số token đầu vào ở mức N²T/2 thay vì NT. Tăng gấp đôi độ dài phiên khiến chi phí đầu vào tăng xấp xỉ gấp bốn. Đó là lý do một tác nhân có vẻ rẻ trong mười phút lại khiến bạn lo ngại sau một giờ.

Bốn cách tiếp cận hiệu quả

Tóm tắt các lượt cũ

Copydef compact(history, keep=6):
    class="s">""class="s">"Replace everything but the last `keep` turns with one summary turn."class="s">""
    if len(history) <= keep:
        return history
    old, recent = history[:-keep], history[-keep:]
    summary = summarise(old)          class=class="s">"c"># one cheap Haiku call
    return [{class="s">"role": class="s">"user", class="s">"content": fclass="s">"Summary of earlier discussion: {summary}"}] + recent

Chạy tác vụ tóm tắt bằng một mô hình có chi phí thấp. Đây là tác vụ nén thông tin, không phải tác vụ suy luận.

Kết quả công cụ thường là thủ phạm

• Một công cụ trả về 500 hàng sẽ đưa 500 hàng vào mọi yêu cầu sau đó. Hãy giới hạn số hàng, hoặc trả về bản tóm tắt kèm một mã tham chiếu để lấy thông tin chi tiết khi cần.
• Toàn bộ nội dung tệp mà tác nhân đọc sẽ được giữ trong ngữ cảnh. Hãy đọc phần bạn cần, thay vì toàn bộ tệp.
• Ảnh chụp màn hình và hình ảnh được gửi lại như mọi nội dung khác — hãy loại bỏ chúng sau khi đã mô tả.
• Nhật ký bản dựng và dấu vết ngăn xếp: giữ lại 50 dòng đầu và cuối, bỏ phần giữa.