Instradamento con LiteLLM. Un raffinato pannello di collegamento riceve diversi cavi sottili e invia un unico percorso ordinato a una finestra di codice, a rappresentare un proxy unificato per i modelli.

Instradare LiteLLM verso Claude

LiteLLM è il livello proxy che molti team collocano davanti a tutti i servizi, esponendo un'unica API compatibile con OpenAI a tutte le loro app. Punta il suo model_list ad AI Prime Tech e quell'unico endpoint raggiungerà Claude, oltre a GPT e Gemini tramite lo stesso gateway multimodello.

model_list e il prefisso del provider

In config.yaml, ogni voce di model_list contiene un model_name esposto ai client e litellm_params. Il campo model include un prefisso del provider che determina il protocollo di comunicazione: anthropic/<model> invia richieste all'API Messages nativa, openai/<model> a Chat Completions.

Imposta api_base sul gateway e api_key tramite os.environ/<VAR>. Poiché AI Prime Tech espone un'interfaccia compatibile con OpenAI, openai/<claude-model> con un api_base che termina con /v1 è la modalità più semplice.

L'insidia del suffisso dell'URL

Con anthropic/<model>, LiteLLM aggiunge automaticamente /v1/messages all'URL radice api_base. Per gestire un percorso non standard, imposta LITELLM_ANTHROPIC_DISABLE_URL_SUFFIX=true e fornisci il percorso completo. Con openai/<model>, specifica l'URL di base con /v1 e LiteLLM aggiungerà /chat/completions.

Il prefisso determina anche la struttura del corpo JSON, quindi una mancata corrispondenza con ciò che il gateway si aspetta restituisce errori 400: mantieni allineati il prefisso e l'interfaccia del gateway.

LiteLLM come livello unificante

Lo schema classico prevede LiteLLM come proxy locale a cui si collegano Claude Code, script e altri strumenti. Puoi cambiare i modelli o i gateway a monte in config.yaml senza modificare ogni client, ottenendo logging, instradamento e fallback unificati.

Con AI Prime Tech a monte, un unico endpoint LiteLLM distribuisce le richieste a Claude, GPT e Gemini, così l'intero stack usa una sola API e tu mantieni piena libertà di scelta del modello.

Dove si concentra il volume

LiteLLM è il punto in cui convergono molte app, quindi gestisce il flusso di richieste più intenso dello stack. È dunque il punto in cui la prevedibilità dei costi conta di più.

Un gateway multimodello alle sue spalle ti consente di instradare le richieste verso modelli economici per i lavori in massa e verso Claude per quelli difficili, misurando tutto in un unico punto.

# config.yaml
model_list:
  - model_name: claude-sonnet-4-5
    litellm_params:
      model: openai/claude-sonnet-4-5
      api_base: https://aiprimetech.io/v1
      api_key: os.environ/AIPRIME_KEY
# litellm --config config.yaml

Domande frequenti

Come si punta LiteLLM ad AI Prime Tech?

Aggiungi una voce model_list con model: openai/claude-sonnet-4-5, api_base https://aiprimetech.io/v1, e api_key tramite os.environ. In alternativa, usa anthropic/<model> con l'URL radice come api_base.

Prefisso anthropic/ o openai/?

openai/ per l'interfaccia compatibile con OpenAI (URL di base con /v1). anthropic/ invia richieste Messages native all'URL radice + /v1/messages.

LiteLLM continua ad aggiungere /v1/messages: come impedirlo?

Imposta LITELLM_ANTHROPIC_DISABLE_URL_SUFFIX=true e fornisci il percorso completo.

Un unico endpoint LiteLLM può raggiungere più modelli?

Sì: AI Prime Tech è multimodello, quindi LiteLLM può instradare le richieste a Claude, GPT e Gemini tramite lo stesso gateway.

Inizia a usare Claude in pochi minuti

Ottieni una chiave API: non servono un account Anthropic né una lista d'attesa.

Ottieni la tua chiave API

AI Prime Tech è un gateway API indipendente. Non è affiliato ad Anthropic, non è approvato da Anthropic e non è un suo rivenditore. Claude e i nomi dei modelli correlati sono marchi dei rispettivi proprietari.