
通过 LiteLLM 路由到 Claude
许多团队将 LiteLLM 作为所有服务前面的代理层,为全部应用提供统一的 OpenAI 兼容 API。将其 model_list 指向 AI Prime Tech,这个端点就能访问 Claude,还能通过同一个多模型网关访问 GPT 和 Gemini。
model_list 与提供商前缀
在 config.yaml 中,每个 model_list 条目都包含面向客户端的 model_name 和 litellm_params。model 字段包含一个提供商前缀,用于决定通信协议:anthropic/<model> 使用原生 Messages API,openai/<model> 使用 Chat Completions。
将 api_base 设置为网关地址,并通过 os.environ/<VAR> 设置 api_key。由于 AI Prime Tech 提供 OpenAI 兼容接口,使用 openai/<claude-model> 并将 api_base 设置为以 /v1 结尾的地址,是最简单的接入方式。
URL 后缀陷阱
使用 anthropic/<model> 时,LiteLLM 会自动在根 api_base 后追加 /v1/messages。若要指定特殊路径,请设置 LITELLM_ANTHROPIC_DISABLE_URL_SUFFIX=true 并提供完整路径。使用 openai/<model> 时,请提供包含 /v1 的基础地址,LiteLLM 会追加 /chat/completions。
前缀还决定 JSON 请求体的结构,因此,如果它与网关预期的格式不匹配,就会返回 400 错误;请确保前缀与网关接口一致。
以 LiteLLM 作为统一接入层
经典用法是将 LiteLLM 作为本地代理,让 Claude Code、脚本和其他工具都连接到它。你可以在 config.yaml 中切换上游模型或网关,无需逐一修改客户端,同时获得统一的日志记录、路由和回退机制。
将 AI Prime Tech 作为上游后,一个 LiteLLM 端点就能将请求分发给 Claude、GPT 和 Gemini,让整个技术栈使用统一 API,同时保留完整的模型选择空间。
请求量的集中点
LiteLLM 是许多应用的汇聚点,因此承载着技术栈中最密集的请求流。这也使它成为成本可预测性最为重要的环节。
在其后接入多模型网关,就能将批量任务路由到低成本模型,将复杂任务交给 Claude,并在同一处统一计量。
# config.yaml
model_list:
- model_name: claude-sonnet-4-5
litellm_params:
model: openai/claude-sonnet-4-5
api_base: https://aiprimetech.io/v1
api_key: os.environ/AIPRIME_KEY
# litellm --config config.yaml常见问题
如何将 LiteLLM 指向 AI Prime Tech?
使用 anthropic/ 还是 openai/ 前缀?
LiteLLM 总是追加 /v1/messages,如何阻止?
一个 LiteLLM 端点能访问多个模型吗?
获取 API 密钥,无需 Anthropic 账户,也无需加入候补名单。
获取你的 API 密钥AI Prime Tech 是独立的 API 网关,与 Anthropic 无关联,未获得其背书,也不是其经销商。Claude 及相关模型名称是其各自所有者的商标。