Tool-Nutzung und Funktionsaufrufe

Lassen Sie ein Modell Ihre Funktionen aufrufen — die Anfrageschleife, beide Formate und die Fehler, die Tokens kosten.

Durch Tool-Nutzung kann das Modell Sie auffordern, eine Funktion auszuführen, und anschließend mit dem Ergebnis fortfahren. Dieser Mechanismus steckt hinter jedem Coding-Agenten.

Der Ablauf

1. Sie senden messages zusammen mit tools zur Beschreibung der verfügbaren Möglichkeiten.
2. Das Modell antwortet mit einem stop_reason: tool_use und ein tool_use Block, der das Tool und seine Argumente angibt.
3. Sie führen es aus — das Gateway führt Ihren Code niemals aus.
4. Sie senden den gesamten Verlauf zusammen mit einem tool_result Block zurück.
5. Das Modell erstellt seine endgültige Antwort oder fordert ein weiteres Tool an.

Tools definieren (Messages-Format)

Copy{
  "model": "claude-sonnet-4-6",
  "max_tokens": 1024,
  "tools": [{
    "name": "get_weather",
    "description": "Current weather for a city. Use when the user asks about weather.",
    "input_schema": {
      "type": "object",
      "properties": {"city": {"type": "string", "description": "City name"}},
      "required": ["city"]
    }
  }],
  "messages": [{"role": "user", "content": "Weather in Paris?"}]
}

Ein Ergebnis zurückgeben

Copy{
  "role": "user",
  "content": [{
    "type": "tool_result",
    "tool_use_id": "toolu_01ABC...",
    "content": "18C, light rain"
  }]
}

OpenAI-Format

Das /v1/chat/completions Endpunkt verwendet das OpenAI- tools / tool_calls Format stattdessen, wobei Ergebnisse als Nachrichten mit der Rolle zurückgegeben werden tool.

Was die Tool-Nutzung kostet

• Definitionen werden bei jedem Durchlauf erneut gesendet. Zwanzig ausführliche Tool-Schemas können den Großteil Ihrer Eingabe-Tokens ausmachen, bevor die Unterhaltung überhaupt beginnt.
• Ergebnisse werden zum Kontext. Wenn ein Tool 200 Zeilen mit JSON zurückgibt, werden alle davon in die nächste Anfrage und jede weitere Anfrage aufgenommen.
• Jeder Durchlauf ist ein kostenpflichtiger Aufruf. Eine Aufgabe mit fünf Tools erfordert mindestens sechs Anfragen.
• Begrenzen Sie die Länge der Tool-Ausgabe und fassen Sie sie vor der Rückgabe zusammen. Ein Ergebnis auf das zu kürzen, was das Modell tatsächlich benötigt, ist in den meisten Agentenschleifen die wirksamste Änderung.