Маршрутизация с LiteLLM. Изящная коммутационная панель принимает несколько тонких кабелей и направляет один аккуратный маршрут к окну кода — образ единого прокси для моделей.

Маршрутизация LiteLLM к Claude

LiteLLM — это прокси-слой, который многие команды размещают перед всеми своими сервисами, предоставляя приложениям единый OpenAI-совместимый API. Направьте его model_list на AI Prime Tech, и эта единая конечная точка обеспечит доступ к Claude, а также к GPT и Gemini через тот же многомодельный шлюз.

model_list и префикс провайдера

В config.yaml каждая запись model_list содержит доступное клиентам имя model_name и litellm_params. Поле model включает префикс провайдера, определяющий протокол обмена: anthropic/<model> отправляет запросы через нативный Messages API, а openai/<model> — через Chat Completions.

Укажите шлюз в api_base, а api_key задайте через os.environ/<VAR>. Поскольку AI Prime Tech предоставляет OpenAI-совместимый интерфейс, самый простой вариант — openai/<claude-model> с api_base, оканчивающимся на /v1.

Нюанс с суффиксом URL

При использовании anthropic/<model> LiteLLM автоматически добавляет /v1/messages к корневому api_base. Чтобы задать нестандартный путь, установите LITELLM_ANTHROPIC_DISABLE_URL_SUFFIX=true и укажите полный путь. При использовании openai/<model> задайте базовый адрес с /v1, и LiteLLM добавит /chat/completions.

Префикс также определяет структуру тела JSON, поэтому несоответствие ожиданиям шлюза приводит к ответам 400 — согласуйте префикс с интерфейсом шлюза.

LiteLLM как объединяющий слой

Классическая схема — использовать LiteLLM как локальный прокси, к которому обращаются Claude Code, скрипты и другие инструменты. Вы меняете вышестоящие модели или шлюзы в config.yaml, не изменяя каждый клиент, и получаете единое журналирование, маршрутизацию и резервные варианты.

Если вышестоящим шлюзом служит AI Prime Tech, одна конечная точка LiteLLM распределяет запросы между Claude, GPT и Gemini: весь ваш стек использует единый API, а вы сохраняете полную свободу выбора модели.

Где сосредоточен объём запросов

В LiteLLM сходятся запросы многих приложений, поэтому через него проходит самый плотный поток запросов во всём стеке. Именно здесь предсказуемость затрат имеет наибольшее значение.

Многомодельный шлюз за ним позволяет направлять массовые задачи на недорогие модели, а сложные — на Claude, отслеживая всё в одном месте.

# config.yaml
model_list:
  - model_name: claude-sonnet-4-5
    litellm_params:
      model: openai/claude-sonnet-4-5
      api_base: https://aiprimetech.io/v1
      api_key: os.environ/AIPRIME_KEY
# litellm --config config.yaml

Часто задаваемые вопросы

Как направить LiteLLM на AI Prime Tech?

Добавьте запись model_list с model: openai/claude-sonnet-4-5, api_base https://aiprimetech.io/v1, и api_key через os.environ. Или используйте anthropic/<model> с корневым api_base.

Префикс anthropic/ или openai/?

openai/ — для OpenAI-совместимого интерфейса (базовый адрес с /v1). anthropic/ отправляет нативные запросы Messages на корневой адрес + /v1/messages.

LiteLLM постоянно добавляет /v1/messages — как это остановить?

Установите LITELLM_ANTHROPIC_DISABLE_URL_SUFFIX=true и укажите полный путь.

Может ли одна конечная точка LiteLLM предоставлять доступ к нескольким моделям?

Да — AI Prime Tech поддерживает несколько моделей, поэтому LiteLLM может маршрутизировать запросы к Claude, GPT и Gemini через один шлюз.

Начните использовать Claude за несколько минут

Получите ключ API — учётная запись Anthropic и запись в лист ожидания не нужны.

Получить ключ API

AI Prime Tech — независимый API-шлюз. Он не связан с Anthropic, не одобрен этой компанией и не является её реселлером. Claude и названия связанных моделей — товарные знаки их соответствующих владельцев.