Agent可靠性与权限边界
Agent 的能力越强,风险也越高。可靠的 Agent 系统不是让模型自由行动,而是在清晰权限、工具、流程和审计边界内完成任务。
# 1. Agent 风险链路
用户输入
-> 模型理解
-> 任务规划
-> 工具选择
-> 参数生成
-> 工具执行
-> 业务影响
每个环节都可能出错。
# 2. 权限边界
| 层级 | 控制点 |
|---|---|
| 用户权限 | 当前用户能访问哪些数据 |
| 工具权限 | Agent 能调用哪些工具 |
| 参数权限 | 工具参数是否在允许范围 |
| 动作权限 | 是否允许执行写操作或删除操作 |
| 审批权限 | 高风险动作是否需要人审 |
权限必须由业务系统强制执行,不能只靠模型判断。
# 3. 工具分级
| 等级 | 示例 | 策略 |
|---|---|---|
| 只读低风险 | 搜索公开文档 | 可自动调用 |
| 只读敏感 | 查询用户订单 | 需要用户身份过滤 |
| 写入低风险 | 创建草稿、生成待办 | 可确认后执行 |
| 写入高风险 | 发邮件、提交审批 | 需要二次确认 |
| 不可逆高风险 | 删除数据、支付、生产变更 | 强人工审批 |
# 4. 可靠性措施
- 最大步骤数限制。
- 工具调用超时和重试。
- 参数 Schema 校验。
- 幂等键避免重复执行。
- 高风险动作二次确认。
- 全链路日志和审计。
- 失败时安全停止。
# 5. 观测和审计
需要记录:
- 用户请求。
- 计划步骤。
- 工具调用参数。
- 工具返回结果。
- 模型输出。
- 权限判断。
- 人工确认记录。
- 最终业务结果。
这些记录用于排查、复盘和合规。
# 6. 常见反模式
| 反模式 | 风险 |
|---|---|
| 给 Agent 全量数据库权限 | 数据泄露和误操作 |
| 工具参数不校验 | 注入和越权 |
| 高风险动作无确认 | 业务损失 |
| 无步骤限制 | 无限循环和成本失控 |
| 无日志 | 出错无法追溯 |
# 7. Tips 快问快答
Q:怎样判断一个工具能不能开放给 Agent?
A:看它是否可能访问敏感数据、产生写操作、造成不可逆影响,以及是否能做权限和参数校验。
Q:Agent 出错责任怎么定位?
A:必须依赖日志。要能看到模型为什么选择工具、调用了什么参数、工具返回了什么、业务系统如何校验。
Q:能否让 Agent 自己决定权限?
A:不能。权限是业务系统职责,模型最多辅助解释,不应作为权限裁判。
上次更新: 2026/06/25, 17:53:09