Routing mit LiteLLM. Eine elegante Schaltzentrale empfängt mehrere dünne Kabel und führt eine klar gebündelte Verbindung zu einem Codefenster – als Darstellung eines vereinheitlichenden Modell-Proxys.

LiteLLM-Anfragen an Claude weiterleiten

LiteLLM ist die Proxy-Schicht, die viele Teams vor ihre gesamte Infrastruktur setzen und die allen ihren Apps eine einzige OpenAI-kompatible API bereitstellt. Richten Sie die model_list auf AI Prime Tech aus, und dieser eine Endpunkt erreicht Claude – sowie GPT und Gemini über dasselbe Gateway für mehrere Modelle.

model_list und das Anbieterpräfix

In config.yaml enthält jeder model_list-Eintrag einen für Clients sichtbaren model_name und litellm_params. Das Feld model enthält ein Anbieterpräfix, das das Übertragungsprotokoll bestimmt: anthropic/<model> sendet Anfragen über die native Messages API, openai/<model> über Chat Completions.

Setzen Sie api_base auf das Gateway und api_key über os.environ/<VAR>. Da AI Prime Tech die OpenAI-kompatible Schnittstelle unterstützt, ist openai/<claude-model> mit einer auf /v1 endenden api_base der einfachste Weg.

Die Stolperfalle beim URL-Suffix

Bei anthropic/<model> hängt LiteLLM automatisch /v1/messages an die Stamm-URL in api_base an. Um einen ungewöhnlichen Pfad vorzugeben, setzen Sie LITELLM_ANTHROPIC_DISABLE_URL_SUFFIX=true und geben Sie den vollständigen Pfad an. Bei openai/<model> geben Sie die Basis-URL mit /v1 an; LiteLLM hängt /chat/completions an.

Das Präfix bestimmt auch die Struktur des JSON-Bodys. Eine Abweichung von der vom Gateway erwarteten Struktur führt daher zu 400-Antworten – stimmen Sie Präfix und Gateway-Schnittstelle aufeinander ab.

LiteLLM als vereinheitlichende Schicht

Das klassische Muster ist LiteLLM als lokaler Proxy, den Claude Code, Skripte und andere Tools gemeinsam ansprechen. Sie tauschen vorgelagerte Modelle oder Gateways in config.yaml aus, ohne jeden Client ändern zu müssen, und erhalten einheitliche Protokollierung, Routing und Fallbacks.

Mit AI Prime Tech als vorgelagertem Dienst verteilt ein LiteLLM-Endpunkt Anfragen auf Claude, GPT und Gemini. So spricht Ihr gesamter Stack eine einzige API, während Ihnen die volle Modellauswahl erhalten bleibt.

Wo sich das Anfragevolumen bündelt

In LiteLLM laufen viele Apps zusammen, sodass dort der dichteste Anfragestrom im Stack entsteht. Deshalb ist die Planbarkeit der Kosten an dieser Stelle besonders wichtig.

Mit einem Gateway für mehrere Modelle dahinter können Sie Massenaufgaben an günstige Modelle und schwierige Aufgaben an Claude routen und alles an einer Stelle erfassen.

# config.yaml
model_list:
  - model_name: claude-sonnet-4-5
    litellm_params:
      model: openai/claude-sonnet-4-5
      api_base: https://aiprimetech.io/v1
      api_key: os.environ/AIPRIME_KEY
# litellm --config config.yaml

Häufig gestellte Fragen

Wie richte ich LiteLLM auf AI Prime Tech aus?

Fügen Sie einen model_list-Eintrag mit model: openai/claude-sonnet-4-5, api_base https://aiprimetech.io/v1, und api_key über os.environ hinzu. Alternativ verwenden Sie anthropic/<model> mit der Stamm-URL in api_base.

Präfix anthropic/ oder openai/?

openai/ für die OpenAI-kompatible Schnittstelle (Basis-URL mit /v1). anthropic/ sendet native Messages-Anfragen an die Stamm-URL + /v1/messages.

LiteLLM hängt ständig /v1/messages an – wie verhindere ich das?

Setzen Sie LITELLM_ANTHROPIC_DISABLE_URL_SUFFIX=true und geben Sie den vollständigen Pfad an.

Kann ein LiteLLM-Endpunkt mehrere Modelle erreichen?

Ja – AI Prime Tech unterstützt mehrere Modelle, sodass LiteLLM über dasselbe Gateway zu Claude, GPT und Gemini routen kann.

Claude in wenigen Minuten nutzen

Holen Sie sich einen API-Schlüssel – ohne Anthropic-Konto oder Warteliste.

API-Schlüssel erhalten

AI Prime Tech ist ein unabhängiges API-Gateway. Es ist weder mit Anthropic verbunden noch von Anthropic empfohlen und auch kein Wiederverkäufer von Anthropic. Claude und zugehörige Modellnamen sind Marken ihrer jeweiligen Inhaber.