Các phương pháp tốt nhất cho môi trường production

Những điều cần thiết lập đúng trước khi một tích hợp xử lý lưu lượng thực tế.

Độ tin cậy

• Thử lại với đúng mã. 429, 500, 502, 503, 529 với thời gian chờ tăng theo cấp số nhân và độ lệch ngẫu nhiên. Không bao giờ thử lại một cách mù quáng 400, 401, 402 hoặc 403.
• Đặt thời gian chờ. Một lần sinh nội dung dài có thể mất vài phút là điều bình thường; một socket bị treo không nên khiến worker của bạn treo theo. Giới hạn 120 giây là hợp lý cho các lệnh gọi không truyền dữ liệu theo luồng.
• Giới hạn số tác vụ đồng thời bằng semaphore thay vì gửi tất cả cùng lúc rồi thử lại các yêu cầu bị từ chối.
• Chuẩn bị một mô hình dự phòng. Nếu mô hình chính bị quá tải, chuyển xuống mô hình nhỏ hơn vẫn tốt hơn trả về lỗi.

Chi phí

• Đặt max_tokens trong mọi lệnh gọi. Đây là mức trần chi tiêu, không phải gợi ý.
• Định tuyến theo tác vụ — xem Kiểm soát chi phí.
• Bật bộ nhớ đệm lời nhắc để biết các tiền tố ổn định.
• Ghi nhật ký usage cho từng yêu cầu kèm nhãn tác vụ để sau này bạn có thể xác định chi phí thuộc về tác vụ nào.

Bảo mật

• Lưu khóa trong biến môi trường hoặc trình quản lý bí mật — tuyệt đối không lưu trong kho mã hay gói mã phía máy khách.
• Mỗi dịch vụ dùng một khóa để có thể thu hồi chính xác khóa cần thu hồi.
• Không bao giờ tạo prompt bằng cách nối chuỗi đầu vào không đáng tin cậy của người dùng với chỉ dẫn; hãy giữ nội dung người dùng trong một user thông điệp và chỉ dẫn trong system.
• Coi đầu ra của mô hình là dữ liệu không đáng tin cậy. Không eval nó, không chạy SQL được sinh ra bằng vai trò có quyền ghi.

Khả năng quan sát

• Ghi nhật ký mô hình, độ trễ, usage, stop_reason và loại tác vụ do bạn xác định cho mọi lệnh gọi.
• Thiết lập cảnh báo theo tỷ lệ stop_reason: max_tokens — tỷ lệ tăng có nghĩa là câu trả lời đang bị cắt ngắn.
• Theo dõi chi phí theo loại tác vụ, không chỉ tổng chi phí. Tổng chi phí che khuất việc khối lượng công việc nào đang trở nên tốn kém hơn.