ChatAnthropic en LangChain: importación, base_url, streaming, herramientas y errores

ChatAnthropic del langchain-anthropic paquete es el modelo de chat de Claude de LangChain. Encapsula el SDK oficial de Anthropic para Python, por lo que basta con un argumento para conectarlo a una pasarela, base_url, establecido en la raíz del host. Todo lo demás en tus cadenas, agentes y herramientas permanece igual.

Instalación e importación

pip install -U langchain-anthropic

from langchain_anthropic import ChatAnthropic

llm = ChatAnthropic(
    model="claude-sonnet-5",
    base_url="https://aiprimetech.io",           # host root: the SDK adds /v1/messages
    api_key="your_gateway_key",   # or set ANTHROPIC_API_KEY
)

print(llm.invoke("Say hello in one word.").text)

Configúralo desde el entorno

base_url es un alias de anthropic_api_urly api_key un alias de anthropic_api_key. Cuando no los pasas, ChatAnthropic lee ANTHROPIC_API_URL primero, después ANTHROPIC_BASE_URL, y la clave de ANTHROPIC_API_KEY. Los argumentos explícitos siempre tienen prioridad.

export ANTHROPIC_API_KEY=your_gateway_key
export ANTHROPIC_API_URL=https://aiprimetech.io

from langchain_anthropic import ChatAnthropic

llm = ChatAnthropic(model="claude-sonnet-5")   # picks up the gateway from the environment

Transmisión en tiempo real

for chunk in llm.stream("Explain backpressure in two sentences."):
    print(chunk.text, end="", flush=True)

.text recopila solo los bloques de texto de cada fragmento, por lo que el resultado se mantiene limpio cuando el modelo también emite bloques de razonamiento o de uso de herramientas. Utiliza streaming para respuestas largas: una solicitud larga sin streaming es la causa habitual de que se agote el tiempo de espera.

Herramientas y salida estructurada

from langchain_core.tools import tool

@tool
def get_time(city: str) -> str:
    """Return the current local time in a city."""
    return "12:00"

msg = llm.bind_tools([get_time]).invoke("What time is it in Tokyo?")
print(msg.tool_calls)

from pydantic import BaseModel

class Weather(BaseModel):
    city: str
    temperature_c: float

print(llm.with_structured_output(Weather).invoke("It is 21 degrees in Lisbon today."))

Reintentos, tiempos de espera y max_tokens

max_retries tiene como valor predeterminado 2, igual que el SDK de Anthropic, que reintenta los errores de conexión, 429 y las respuestas 5xx. timeout (alias de default_request_timeout) se expresa en segundos. Si dejas max_tokens sin definir, se toma del perfil del modelo.

llm = ChatAnthropic(
    model="claude-sonnet-5",
    base_url="https://aiprimetech.io",
    max_retries=4,
    timeout=120,
    max_tokens=8000,
)

Para los lotes, limita el paralelismo para respetar el límite de concurrencia de tu clave: llm.batch(inputs, config={"max_concurrency": 3}).

La alternativa con ChatOpenAI

Si tu código está estandarizado en ChatOpenAI, el endpoint compatible con OpenAI de la pasarela también ofrece Claude. Esta vía requiere /v1 al final, al contrario que ChatAnthropic.

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="claude-sonnet-5", base_url="https://aiprimetech.io/v1", api_key="your_gateway_key")

Es preferible usar ChatAnthropic para Claude: conserva funciones nativas como la caché de prompts y los bloques de razonamiento.

Resolución de problemas

Preguntas frecuentes

AI Prime Tech es una pasarela de API independiente. No está afiliada a Anthropic, no cuenta con su respaldo ni es un distribuidor de Anthropic. Claude y los nombres de los modelos relacionados son marcas comerciales de sus respectivos propietarios.