LiteLLM으로 라우팅하기. 정교한 배전반이 여러 가느다란 케이블을 받아 하나의 깔끔한 경로로 코드 창에 연결하며, 모델을 통합하는 프록시를 나타냅니다.

LiteLLM을 Claude로 라우팅하기

LiteLLM은 많은 팀이 모든 서비스 앞에 배치하는 프록시 계층으로, 모든 앱에 하나의 OpenAI 호환 API를 제공합니다. model_list가 AI Prime Tech를 가리키도록 설정하면 하나의 엔드포인트로 Claude에 접근할 수 있으며, 동일한 멀티 모델 게이트웨이를 통해 GPT와 Gemini도 사용할 수 있습니다.

model_list와 제공자 접두사

config.yaml의 각 model_list 항목에는 클라이언트에 표시되는 model_name과 litellm_params가 있습니다. model 필드에는 통신 프로토콜을 결정하는 제공자 접두사가 포함됩니다. anthropic/<model>은 네이티브 Messages API를 사용하고, openai/<model>은 Chat Completions를 사용합니다.

api_base를 게이트웨이로 설정하고, api_key는 os.environ/<VAR>로 지정하세요. AI Prime Tech는 OpenAI 호환 인터페이스를 제공하므로, openai/<claude-model>와 /v1로 끝나는 api_base를 사용하는 것이 가장 간단한 방법입니다.

URL 접미사 사용 시 주의점

anthropic/<model>을 사용하면 LiteLLM이 루트 api_base에 /v1/messages를 자동으로 추가합니다. 특수한 경로를 직접 지정하려면 LITELLM_ANTHROPIC_DISABLE_URL_SUFFIX=true로 설정하고 전체 경로를 제공하세요. openai/<model>을 사용할 때는 /v1이 포함된 기본 URL을 지정하면 LiteLLM이 /chat/completions를 추가합니다.

접두사는 JSON 본문의 구조도 결정하므로, 게이트웨이가 기대하는 구조와 일치하지 않으면 400 응답이 반환됩니다. 접두사와 게이트웨이 인터페이스를 일치시키세요.

통합 계층으로 사용하는 LiteLLM

일반적인 구성은 Claude Code, 스크립트 및 기타 도구가 모두 LiteLLM 로컬 프록시를 사용하도록 하는 것입니다. 각 클라이언트를 수정하지 않고 config.yaml에서 업스트림 모델이나 게이트웨이를 바꿀 수 있으며, 로깅, 라우팅, 폴백을 통합할 수 있습니다.

AI Prime Tech를 업스트림으로 사용하면 하나의 LiteLLM 엔드포인트가 Claude, GPT, Gemini로 요청을 분배합니다. 따라서 전체 스택에서 하나의 API를 사용하면서도 모델을 자유롭게 선택할 수 있습니다.

요청량이 집중되는 지점

LiteLLM에는 여러 앱의 요청이 모이므로 스택에서 가장 밀집된 요청 흐름을 처리합니다. 따라서 비용 예측 가능성이 가장 중요한 지점이기도 합니다.

그 뒤에 멀티 모델 게이트웨이를 배치하면 대량 작업은 저렴한 모델로, 어려운 작업은 Claude로 라우팅하면서 모든 사용량을 한곳에서 측정할 수 있습니다.

# config.yaml
model_list:
  - model_name: claude-sonnet-4-5
    litellm_params:
      model: openai/claude-sonnet-4-5
      api_base: https://aiprimetech.io/v1
      api_key: os.environ/AIPRIME_KEY
# litellm --config config.yaml

자주 묻는 질문

LiteLLM이 AI Prime Tech를 사용하도록 어떻게 설정하나요?

model: openai/claude-sonnet-4-5, api_base https://aiprimetech.io/v1,, os.environ을 통한 api_key를 지정한 model_list 항목을 추가하세요. 또는 루트 api_base와 함께 anthropic/<model>을 사용하세요.

anthropic/과 openai/ 중 어떤 접두사를 사용하나요?

OpenAI 호환 인터페이스에는 openai/를 사용합니다(기본 URL에 /v1 포함). anthropic/는 루트 + /v1/messages로 네이티브 Messages 요청을 보냅니다.

LiteLLM이 계속 /v1/messages를 추가합니다. 어떻게 막나요?

LITELLM_ANTHROPIC_DISABLE_URL_SUFFIX=true로 설정하고 전체 경로를 지정하세요.

하나의 LiteLLM 엔드포인트로 여러 모델에 접근할 수 있나요?

네. AI Prime Tech는 멀티 모델을 지원하므로 LiteLLM이 동일한 게이트웨이를 통해 Claude, GPT, Gemini로 라우팅할 수 있습니다.

몇 분 만에 Claude 사용 시작하기

API 키를 발급받으세요 — Anthropic 계정이나 대기자 명단 등록이 필요하지 않습니다.

API 키 발급받기

AI Prime Tech는 독립적인 API 게이트웨이입니다. Anthropic과 제휴 관계가 없으며, Anthropic의 보증을 받거나 Anthropic의 리셀러로 활동하지 않습니다. Claude 및 관련 모델 이름은 각 소유자의 상표입니다.