AI 安全与治理关注模型在真实业务中的风险边界。AI 应用可能暴露提示词、泄露私有数据、被 Prompt 注入诱导、越权调用工具，也可能生成不合规内容或错误决策。越是接近生产业务，越需要把安全治理前置。

1. AI 风险地图

用户输入
  -> Prompt 注入
  -> 数据泄露
  -> 越权访问
  -> 工具误调用
  -> 输出不合规
  -> 审计缺失
  -> 业务损失

2. 可以展开的知识点

方向	重点问题	后续文章建议
Prompt 注入	用户如何诱导模型忽略系统规则	Prompt 注入与防护
数据安全	私有数据如何避免泄露	数据脱敏与权限过滤
工具权限	Agent 调工具如何控制风险	工具调用安全
内容安全	如何拦截违规和高风险输出	内容审核与安全策略
企业治理	企业内部如何规范使用 AI	企业 AI 使用规范
审计追踪	如何追溯 AI 决策过程	日志审计与合规

本章节目录

• Prompt注入与防护
• 数据脱敏与权限过滤
• 工具调用安全
• 内容审核与安全策略
• 企业AI使用规范
• 日志审计与合规

3. 常见风险与防护

风险	示例	防护方式
Prompt 注入	用户要求模型忽略原有规则	输入隔离、规则校验、输出审查
数据泄露	模型返回不属于当前用户的数据	权限过滤、数据脱敏、租户隔离
工具越权	Agent 调用高风险接口	最小权限、人审、工具白名单
输出不合规	生成违法、歧视或敏感内容	内容安全模型、规则过滤、人工复核
供应商风险	外部模型保存或使用输入数据	合同约束、私有化、敏感数据不出域

4. 治理原则

1. 权限判断必须由业务系统完成，不能只依赖模型自觉遵守。
2. 敏感数据进入模型前要做分类、脱敏和最小化。
3. 工具调用要有白名单、参数校验、二次确认和审计。
4. 对外输出要经过安全策略和业务规则校验。
5. 企业内部要明确哪些数据、场景和岗位可以使用 AI。

5. Tips 快问快答

Q：只靠系统 Prompt 能防住 Prompt 注入吗？

A：不能。系统 Prompt 有帮助，但真正的防护要依赖输入隔离、权限控制、工具白名单、输出校验和审计。

Q：AI 应用为什么容易出现权限问题？

A：模型本身不理解企业权限边界。如果检索、工具或数据接口没有按用户身份过滤，就可能把不该看的内容带入上下文或输出。

Q：企业使用外部模型要注意什么？

A：要关注数据是否出域、供应商是否训练使用输入数据、日志保存周期、访问权限、合规要求和应急处置流程。