首先完成“第3课:从提示到代理工作流”即可解锁本课程。转到上一课

简介

只有当 AI 智能体能够走出自身的上下文窗口时,它才真正变得有用。工具调用是让语言模型决定需要从数据库中获取一行数据、调用天气 API 或触发服务器动作,然后在其下一个推理步骤中把结果作为输入的一种机制。在本课中,我们重点设计这样一个循环,使其在网页应用中保持可靠。

我们将把工具视为一个简单的函数,具备三件事:一个稳定的名称、描述其参数的 JSON 架构,以及告知模型何时使用的描述。其余都是前后端的连接工作。

循环示意图 用户消息 -> LLM 决定调用工具 -> 后端执行函数 -> 工具结果返回给 LLM -> 向用户给出最终答案

工具架构与函数调用基础

大多数现代 LLM API 提供相同的形态。你传入一个工具定义数组,每一个定义包含名称、描述和参数架构。模型可以用结构化的请求来调用其中一个工具,而你的后端再执行。

下面是一个以 OpenAI Python SDK 风格实现的最小工具声明。该架构是模型实际读取以决定要生成哪些参数的部分。

python
tools = [
{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get current weather for a city. Use when the user asks about weather, temperature, or conditions in a specific location.",
"parameters": {
"type": "object",
"properties": {
"city": {"type": "string", "description": "City name, e.g. 'Hanoi'"},
"unit": {"type": "string", "enum": ["celsius", "fahrenheit"]}
},
"required": ["city"]
}
}
}
]

请注意三个设计要点。第一,描述是一个简短的指令,告诉模型何时触发工具,使用与你的系统提示相同的语气。第二,参数使用标准的 JSON Schema,因此会强制枚举和必填字段。第三,除非你希望模型认为它们是可选的,否则就不在架构中包含默认值。

将工具连接到网页应用后端

在实际的网络应用中,代理并不在浏览器内运行。浏览器将对话发送到后端,后端用工具列表调用 LLM,当模型返回一个工具调用时,你的服务器实际对你自己的服务执行它。结果被作为工具消息发送回模型,然后模型产生最终回复。

一个最小的 FastAPI 处理程序看起来是这样。它在响应中检测工具调用,运行匹配的 Python 函数,并把输出重新反馈到对话中。

python
from fastapi import FastAPI
from openai import OpenAI
app = FastAPI()
client = OpenAI()
def get_weather(city: str, unit: str = "celsius") -> dict:
# call your real weather provider here
return {"city": city, "unit": unit, "temp": 30, "condition": "sunny"}
dispatch = {"get_weather": get_weather}
@app.post("/chat")
def chat(messages: list):
response = client.chat.completions.create(
model="gpt-4o-mini",
messages=messages,
tools=tools,
)
msg = response.choices[0].message
if msg.tool_calls:
for call in msg.tool_calls:
fn = dispatch[call.function.name]
args = json.loads(call.function.arguments)
result = fn(**args)
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
response = client.chat.completions.create(model="gpt-4o-mini", messages=messages, tools=tools)
return {"reply": response.choices[0].message.content}

派发字典(dispatch dictionary)是小型项目中最干净的模式。对于更大规模的系统,你将工具注册移动到注册表对象中,这样就可以在不编辑处理程序的情况下添加工具。

参数设计模式

大多数工具失败来自参数设计不良,而不是模型本身。两种模式可显著降低这种风险。

首先,偏好扁平参数而非嵌套对象。一个需要单独经纬度字段的工具,比需要单一嵌套位置对象的工具更易于模型正确填写。其次,映射用户实际使用的术语。如果用户说邮政编码,请暴露名为 zip_code 的参数,而不是 postal_code。

json
{
"name": "search_products",
"description": "Search the product catalog by keyword and optional filters.",
"parameters": {
"type": "object",
"properties": {
"keyword": {"type": "string", "description": "Search term, e.g. 'running shoes'"},
"max_price_usd": {"type": "number", "description": "Optional upper price limit in USD"},
"in_stock_only": {"type": "boolean", "description": "If true, only return items currently in stock"}
},
"required": ["keyword"]
}
}

三个扁平参数,其中一个是必需的,其余具有模型可以留空的合理默认值。

常见陷阱

几种错误几乎在每次集成中都会出现。模型会臆造一个不存在的工具名称,因此在分发之前始终依据你注册的工具验证 call.function.name。模型传递一个字符串,而你的函数期望的是整数,因此在调用前根据模式强制转换参数。还有当代理因为认为仍需要更多信息而陷入无限的工具调用循环时,应将循环限制在三到五次,并在永不收敛时给出回退答案。

记录每次工具调用及其参数和结果是你可以培养的单一最高杠杆的调试习惯。当生产环境出现问题时,该日志将帮助你看到模型是选错工具、选对工具但参数错误,还是后端返回了意外的结构。

摘要

工具调用把一个聊天机器人变成了一个代理。你将工具定义为 JSON Schema,在每次 LLM 调用中传递它们,在后端执行模型请求的任何内容,并将结果作为工具消息反馈。良好的参数设计应为扁平、使用用户词汇,并清晰标记必填字段。始终验证工具名称、限制循环次数,并记录一切。在下一个课程中,我们将在此循环之上叠加规划与多步推理。

课后练习

课程检查点

巩固所学知识,获取作业反馈。

0/1
已回答 · 0/1