ChatAnthropic в LangChain: импорт, base_url, потоковая передача, инструменты и ошибки

ChatAnthropic из langchain-anthropic пакета — это чат-модель Claude для LangChain. Она представляет собой обёртку над официальным Python SDK Anthropic, поэтому для подключения к шлюзу достаточно одного аргумента, base_url, со значением корневого адреса хоста. Всё остальное в ваших цепочках, агентах и инструментах остаётся без изменений.

Установка и импорт

pip install -U langchain-anthropic

from langchain_anthropic import ChatAnthropic

llm = ChatAnthropic(
    model="claude-sonnet-5",
    base_url="https://aiprimetech.io",           # host root: the SDK adds /v1/messages
    api_key="your_gateway_key",   # or set ANTHROPIC_API_KEY
)

print(llm.invoke("Say hello in one word.").text)

Настройка через переменные окружения

base_url — это псевдоним для anthropic_api_urlи api_key — псевдоним для anthropic_api_key. Если вы их не передаёте, ChatAnthropic считывает ANTHROPIC_API_URL сначала, затем ANTHROPIC_BASE_URL, а ключ — из ANTHROPIC_API_KEY. Явно переданные аргументы всегда имеют приоритет.

export ANTHROPIC_API_KEY=your_gateway_key
export ANTHROPIC_API_URL=https://aiprimetech.io

from langchain_anthropic import ChatAnthropic

llm = ChatAnthropic(model="claude-sonnet-5")   # picks up the gateway from the environment

Потоковая передача

for chunk in llm.stream("Explain backpressure in two sentences."):
    print(chunk.text, end="", flush=True)

.text собирает только текстовые блоки каждого фрагмента, поэтому результат остаётся чистым, даже когда модель также выдаёт блоки размышлений или использования инструментов. Используйте потоковую передачу для длинных ответов: длительный запрос без потоковой передачи — обычная причина тайм-аутов.

Инструменты и структурированный вывод

from langchain_core.tools import tool

@tool
def get_time(city: str) -> str:
    """Return the current local time in a city."""
    return "12:00"

msg = llm.bind_tools([get_time]).invoke("What time is it in Tokyo?")
print(msg.tool_calls)

from pydantic import BaseModel

class Weather(BaseModel):
    city: str
    temperature_c: float

print(llm.with_structured_output(Weather).invoke("It is 21 degrees in Lisbon today."))

Повторные попытки, тайм-ауты и max_tokens

max_retries по умолчанию имеет значение 2, как и в Anthropic SDK, который повторяет запросы при ошибках соединения, 429 и ответах 5xx. timeout (псевдоним default_request_timeout) задаётся в секундах. Если оставить max_tokens незаданным, значение берётся из профиля модели.

llm = ChatAnthropic(
    model="claude-sonnet-5",
    base_url="https://aiprimetech.io",
    max_retries=4,
    timeout=120,
    max_tokens=8000,
)

Для пакетных запросов ограничьте параллелизм, чтобы не превышать лимит одновременных запросов вашего ключа: llm.batch(inputs, config={"max_concurrency": 3}).

Альтернатива на базе ChatOpenAI

Если ваш код стандартизирован на ChatOpenAI, OpenAI-совместимая конечная точка шлюза также предоставляет доступ к Claude. Для этого варианта требуется /v1 в конце адреса, в отличие от ChatAnthropic.

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="claude-sonnet-5", base_url="https://aiprimetech.io/v1", api_key="your_gateway_key")

Для Claude предпочтительнее ChatAnthropic: он сохраняет нативные возможности, такие как кеширование промптов и блоки размышлений.

Устранение неполадок

Часто задаваемые вопросы

AI Prime Tech — независимый API-шлюз. Он не связан с Anthropic, не одобрен этой компанией и не является её реселлером. Claude и названия связанных моделей — товарные знаки их соответствующих владельцев.