Định tuyến bằng LiteLLM. Một bảng chuyển mạch tinh tế nhận nhiều dây cáp mảnh và đưa ra một tuyến gọn gàng tới cửa sổ mã, tượng trưng cho proxy hợp nhất các mô hình.

Định tuyến LiteLLM tới Claude

LiteLLM là lớp proxy mà nhiều nhóm đặt trước toàn bộ hệ thống, cung cấp một API tương thích OpenAI cho tất cả ứng dụng của họ. Trỏ model_list của nó đến AI Prime Tech và endpoint duy nhất đó sẽ truy cập được Claude — cùng GPT và Gemini qua cùng một gateway đa mô hình.

model_list và tiền tố nhà cung cấp

Trong config.yaml, mỗi mục model_list có model_name dành cho phía máy khách và litellm_params. Trường model chứa tiền tố nhà cung cấp quyết định giao thức truyền dữ liệu: anthropic/<model> gửi qua Messages API gốc, openai/<model> gửi qua Chat Completions.

Đặt api_base thành địa chỉ gateway và đặt api_key qua os.environ/<VAR>. Vì AI Prime Tech cung cấp giao diện tương thích OpenAI, openai/<claude-model> với api_base kết thúc bằng /v1 là cách đơn giản nhất.

Điểm dễ nhầm về hậu tố URL

Với anthropic/<model>, LiteLLM tự thêm /v1/messages vào api_base gốc. Để kiểm soát một đường dẫn đặc biệt, hãy đặt LITELLM_ANTHROPIC_DISABLE_URL_SUFFIX=true và cung cấp đường dẫn đầy đủ. Với openai/<model>, cung cấp địa chỉ gốc có /v1 và LiteLLM sẽ thêm /chat/completions.

Tiền tố cũng quyết định cấu trúc phần thân JSON, nên nếu không khớp với cấu trúc gateway mong đợi, yêu cầu sẽ trả về lỗi 400 — hãy giữ tiền tố và giao diện gateway nhất quán.

LiteLLM làm lớp thống nhất

Mô hình triển khai phổ biến là dùng LiteLLM làm proxy cục bộ mà Claude Code, các tập lệnh và công cụ khác đều trỏ đến. Bạn có thể thay đổi mô hình hoặc gateway phía thượng nguồn trong config.yaml mà không cần sửa từng máy khách, đồng thời có được khả năng ghi nhật ký, định tuyến và chuyển sang phương án dự phòng thống nhất.

Với AI Prime Tech ở phía thượng nguồn, một endpoint LiteLLM phân phối yêu cầu đến Claude, GPT và Gemini, nên toàn bộ hệ thống của bạn dùng chung một API trong khi vẫn giữ đầy đủ lựa chọn mô hình.

Nơi tập trung lưu lượng

LiteLLM là nơi nhiều ứng dụng hội tụ, nên nó mang luồng yêu cầu dày đặc nhất trong hệ thống. Vì vậy, đây là nơi khả năng dự đoán chi phí quan trọng nhất.

Một gateway đa mô hình phía sau cho phép bạn định tuyến các tác vụ hàng loạt đến mô hình chi phí thấp và các tác vụ khó đến Claude, với tất cả được đo lường tại một nơi.

# config.yaml
model_list:
  - model_name: claude-sonnet-4-5
    litellm_params:
      model: openai/claude-sonnet-4-5
      api_base: https://aiprimetech.io/v1
      api_key: os.environ/AIPRIME_KEY
# litellm --config config.yaml

Câu hỏi thường gặp

Làm cách nào để trỏ LiteLLM đến AI Prime Tech?

Thêm một mục model_list với model: openai/claude-sonnet-4-5, api_base https://aiprimetech.io/v1, và api_key qua os.environ. Hoặc dùng anthropic/<model> với api_base gốc.

Tiền tố anthropic/ hay openai/?

openai/ dành cho giao diện tương thích OpenAI (địa chỉ gốc có /v1). anthropic/ gửi Messages gốc đến địa chỉ gốc + /v1/messages.

LiteLLM liên tục thêm /v1/messages — làm cách nào để ngăn việc này?

Đặt LITELLM_ANTHROPIC_DISABLE_URL_SUFFIX=true và cung cấp đường dẫn đầy đủ.

Một endpoint LiteLLM có thể truy cập nhiều mô hình không?

Có — AI Prime Tech hỗ trợ nhiều mô hình, nên LiteLLM có thể định tuyến đến Claude, GPT và Gemini qua cùng một gateway.

Bắt đầu sử dụng Claude chỉ trong vài phút

Lấy khóa API — không cần tài khoản Anthropic hay đăng ký danh sách chờ.

Lấy khóa API của bạn

AI Prime Tech là một cổng API độc lập. AI Prime Tech không liên kết với, không được Anthropic chứng thực và không phải là đại lý bán lại của Anthropic. Claude và các tên mô hình liên quan là nhãn hiệu của chủ sở hữu tương ứng.