Wrayの知识库 Wrayの知识库
首页
  • Java 基础
  • Java 集合
  • Java 并发
  • Java IO
  • JVM
  • Spring Framework
  • Spring Boot
  • Spring Cloud
  • Spring Security
  • MySQL
  • Redis
  • 计算机基础
  • 操作系统原理
  • Linux
  • MacOS
  • Windows
  • 系统工程与研究专题
  • AI 基础
  • 大模型基础
  • Prompt 工程
  • RAG 检索增强生成
  • Agent 智能体
  • AI 应用开发
  • AI 工程化
  • AI 安全与治理
  • AI 面试与设计题
  • 纸质书
  • 电子书
  • 学习课程
疑难杂症
GitHub (opens new window)
首页
  • Java 基础
  • Java 集合
  • Java 并发
  • Java IO
  • JVM
  • Spring Framework
  • Spring Boot
  • Spring Cloud
  • Spring Security
  • MySQL
  • Redis
  • 计算机基础
  • 操作系统原理
  • Linux
  • MacOS
  • Windows
  • 系统工程与研究专题
  • AI 基础
  • 大模型基础
  • Prompt 工程
  • RAG 检索增强生成
  • Agent 智能体
  • AI 应用开发
  • AI 工程化
  • AI 安全与治理
  • AI 面试与设计题
  • 纸质书
  • 电子书
  • 学习课程
疑难杂症
GitHub (opens new window)
  • AI概述
  • AI基础

  • 大模型基础

  • Prompt工程

  • RAG检索增强生成

  • Agent智能体

    • Agent智能体概述
    • Agent是什么
    • Function Calling与工具调用
    • Planning任务规划
    • Memory记忆机制
    • Reflection与自我评估
    • Multi-Agent多智能体
    • Agent可靠性与权限边界
      • 1. Agent 风险链路
      • 2. 权限边界
      • 3. 工具分级
      • 4. 可靠性措施
      • 5. 观测和审计
      • 6. 常见反模式
      • 7. Tips 快问快答
  • AI应用开发

  • AI工程化

  • AI安全与治理

  • AI面试与设计题

目录

Agent可靠性与权限边界

Agent 的能力越强,风险也越高。可靠的 Agent 系统不是让模型自由行动,而是在清晰权限、工具、流程和审计边界内完成任务。

# 1. Agent 风险链路

用户输入
  -> 模型理解
  -> 任务规划
  -> 工具选择
  -> 参数生成
  -> 工具执行
  -> 业务影响

每个环节都可能出错。

# 2. 权限边界

层级 控制点
用户权限 当前用户能访问哪些数据
工具权限 Agent 能调用哪些工具
参数权限 工具参数是否在允许范围
动作权限 是否允许执行写操作或删除操作
审批权限 高风险动作是否需要人审

权限必须由业务系统强制执行,不能只靠模型判断。

# 3. 工具分级

等级 示例 策略
只读低风险 搜索公开文档 可自动调用
只读敏感 查询用户订单 需要用户身份过滤
写入低风险 创建草稿、生成待办 可确认后执行
写入高风险 发邮件、提交审批 需要二次确认
不可逆高风险 删除数据、支付、生产变更 强人工审批

# 4. 可靠性措施

  1. 最大步骤数限制。
  2. 工具调用超时和重试。
  3. 参数 Schema 校验。
  4. 幂等键避免重复执行。
  5. 高风险动作二次确认。
  6. 全链路日志和审计。
  7. 失败时安全停止。

# 5. 观测和审计

需要记录:

  • 用户请求。
  • 计划步骤。
  • 工具调用参数。
  • 工具返回结果。
  • 模型输出。
  • 权限判断。
  • 人工确认记录。
  • 最终业务结果。

这些记录用于排查、复盘和合规。

# 6. 常见反模式

反模式 风险
给 Agent 全量数据库权限 数据泄露和误操作
工具参数不校验 注入和越权
高风险动作无确认 业务损失
无步骤限制 无限循环和成本失控
无日志 出错无法追溯

# 7. Tips 快问快答

Q:怎样判断一个工具能不能开放给 Agent?

A:看它是否可能访问敏感数据、产生写操作、造成不可逆影响,以及是否能做权限和参数校验。

Q:Agent 出错责任怎么定位?

A:必须依赖日志。要能看到模型为什么选择工具、调用了什么参数、工具返回了什么、业务系统如何校验。

Q:能否让 Agent 自己决定权限?

A:不能。权限是业务系统职责,模型最多辅助解释,不应作为权限裁判。

上次更新: 2026/06/25, 17:53:09
Multi-Agent多智能体
AI应用开发概述

← Multi-Agent多智能体 AI应用开发概述→

Copyright © 2023-2026 Wray | 鄂ICP备2024050235号-1
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式