AI 安全治理题主要考察 Prompt 注入、数据泄露、工具调用安全、内容审核和审计。回答时要强调模型不是安全边界。

1. 什么是 Prompt 注入，如何防护

回答要点：

• Prompt 注入是用户或外部内容诱导模型忽略规则或执行非预期行为。
• 来源包括用户输入、网页、RAG 文档、工具返回。
• 防护包括指令隔离、外部内容标记、权限校验、工具白名单、输出检查和审计。

关键句：

系统 Prompt 只能降低风险，不能替代工程安全边界。

2. 如何防止数据泄露

回答要点：

• 数据进入模型前做权限过滤。
• 敏感字段脱敏。
• RAG 按用户身份过滤文档。
• 日志脱敏和访问控制。
• 外部模型调用要考虑数据出域和供应商条款。
• 高敏感数据禁止输入或走私有化方案。

3. 工具调用如何保证安全

回答要点：

• 工具分级。
• 最小权限。
• 参数 Schema 校验。
• 用户权限校验。
• 高风险动作二次确认。
• 幂等和回滚。
• 全链路审计。

不要让模型直接执行 SQL、命令或生产操作。

4. 内容审核怎么做

回答要点：

• 输入和输出都要审核。
• 风险类型包括违法、暴力、隐私、歧视、高风险专业建议等。
• 使用规则、审核模型和人工审核分层处理。
• 拒答时给安全替代建议。
• 不暴露具体安全规则。

5. 企业 AI 使用规范包含什么

要点：

• 数据分级。
• 场景分级。
• 可用工具白名单。
• 敏感数据禁止输入。
• 对外输出人工复核。
• 日志审计。
• 违规处理和培训。

6. 如何做 AI 审计

记录：

• 用户身份。
• 请求时间和场景。
• Prompt 版本。
• 模型。
• 检索资料。
• 工具调用。
• 安全拦截。
• 输出摘要。
• 人工确认记录。

敏感内容要脱敏、加密和限制访问。

7. 容易漏的点

1. 权限过滤必须在检索或查询阶段完成。
2. Prompt 注入可能来自 RAG 文档。
3. 工具调用参数不能直接信任。
4. 日志本身也可能泄露数据。
5. 高风险输出要人工复核。