首先完成“第4课:工具调用与外部集成”即可解锁本课程。转到上一课

简介

在生产环境中,代理系统会以出人意料的方式崩溃。LLM 会幻觉化一个工具名。API 返回 500。用户提出超出代理范围的请求。一个循环因为模型对同一输入不断调用同一工具而永远运行。上述情况都不是理论问题——任何运行一段时间的代理都可能遇到它们。

本节介绍使代理可靠的模式:带回退的重试、在调用工具前的输入验证、模型响应后的输出验证、阻止失控循环的断路器,以及当模型产生无法解析的内容时的优雅降级。目标不是让代理完美无缺,而是让故障可预测、可记录、可恢复。

在执行工具前进行输入验证

在将任何内容传递给外部工具之前,先进行验证。最常见的失败模式是代理生成的工具参数看起来在语法上正确,但语义上却无意义——如年份为 9999 的日期、不存在的用户ID、缺失子句的 SQL 查询。

python
def get_user_orders(user_id: str, date_from: str, date_to: str) -> dict:
# Validate user_id is numeric and exists
if not user_id.isdigit() or not user_exists(user_id):
return {"error": "invalid_user_id", "message": f"User {user_id} not found"}
# Validate date format
try:
from datetime import datetime
datetime.strptime(date_from, "%Y-%m-%d")
datetime.strptime(date_to, "%Y-%m-%d")
except ValueError:
return {"error": "invalid_date", "message": "Dates must be YYYY-MM-DD"}
# Validate date range
if date_from > date_to:
return {"error": "invalid_range", "message": "date_from must be before date_to"}
# Now safe to call the actual tool
return query_orders(user_id, date_from, date_to)

当验证失败时,返回一个结构化的错误对象——而不是异常。代理读取它并决定下一步:向用户请求澄清、尝试替代方法,或优雅地放弃。

重试、回退与断路器

短暂的故障(网络超时、503 错误、速率限制)值得重试。但天真的重试会适得其反——如果下游服务超负荷,反而会让它更难恢复。

python
import time
import random
def call_with_retry(fn, max_attempts=3, base_delay=1.0):
for attempt in range(max_attempts):
try:
result = fn()
if attempt > 0:
log_recovery(attempt) # Log that retry succeeded
return result
except RetryableError as e:
if attempt == max_attempts - 1:
raise
delay = base_delay * (2 ** attempt) + random.uniform(0, 0.5)
log_retry_attempt(attempt, e, delay)
time.sleep(delay)

带抖动的指数回退会分散重试流量,避免所有代理在同一时刻重试。仅在被归类为短暂性的错误时进行重试——遇到 400 Bad Request 时永远不要重试,因为同样的输入每次都会导致同样的失败。

断路器更进一步:如果一个工具连续失败了 N 次,就停止调用它以进入冷却期并快速失败。这可以保护你避免代理重复调用进入死服务。

python
class CircuitBreaker:
def __init__(self, failure_threshold=5, cooldown_seconds=60):
self.failures = 0
self.threshold = failure_threshold
self.cooldown = cooldown_seconds
self.open_until = 0
def call(self, fn):
if time.time() < self.open_until:
raise CircuitOpenError(f"Circuit open until {self.open_until}")
try:
result = fn()
self.failures = 0
return result
except Exception:
self.failures += 1
if self.failures >= self.threshold:
self.open_until = time.time() + self.cooldown
raise
显示关闭 -> 打开 -> 半开 转换的断路器状态机

验证模型输出与处理循环

模型有时会输出与你期望的模式不匹配的结果——一个缺少必填字段的 JSON Blob、参数类型错误的工具调用、实际上是幻觉化的自然语言句子的“函数调用”。你需要一个层来捕捉这些情况。

python
def parse_agent_response(raw: str) -> AgentAction:
try:
parsed = json.loads(raw)
except json.JSONDecodeError:
return AgentAction.recover("Model returned non-JSON output")
if "tool" not in parsed or "arguments" not in parsed:
return AgentAction.recover("Missing tool or arguments field")
if parsed["tool"] not in ALLOWED_TOOLS:
return AgentAction.reject(f"Model tried to call unknown tool: {parsed['tool']}")
return AgentAction.execute(parsed["tool"], parsed["arguments"])

循环检测同样重要。跟踪最近的 N 对(工具、参数)组合。如果同一组合重复的次数超过 M 次,终止代理并向用户呈现错误信息——比如“似乎在重复同一步骤导致卡住。”如果没有这个保护,模型可能会因为不断调用同一个无效工具而消耗大量 token。

优雅降级与面向用户的错误

当代理无法完成任务时,对用户的响应应具体且可操作。"发生错误"是没用的。"我无法检索你的订单,因为订单服务暂时不可用。请在一分钟后再试,或者我可以先展示你的账户摘要",这能告诉用户发生了什么并提供替代方案。

构建回退链:如果主工具失败,尝试一个更简单的二级工具(例如使用缓存数据而非实时数据,或用更小范围的不同LLM调用)。如果一切都失败,给出一个如实说明限制的最终答复。切勿对缺失的工具调用默默编造数据——用户会察觉并失去信任。

摘要

可靠的代理由多层验证、重试和优雅失败处理构成。在调用工具前验证输入,对瞬态错误进行指数回退和抖动的重试,对模型输出进行严格模式校验,检测重复行为以防止无限循环,并在出现问题时始终向用户给出具体、诚实的答案。本课中的模式适用于你是用 LangChain、自定义编排或任何其他代理框架构建——框架可能会替你处理其中一些,但你仍应理解底层在发生什么。

课后练习

课程检查点

巩固所学知识,获取作业反馈。

0/1
已回答 · 0/1