生成参数与幻觉治理
大模型生成结果受参数、上下文和模型能力共同影响。理解生成参数可以帮助控制输出风格,但不能单独解决事实错误和幻觉问题。
# 1. 常见生成参数
| 参数 | 作用 | 调整效果 |
|---|---|---|
| temperature | 控制随机性 | 越低越稳定,越高越发散 |
| top_p | 从累计概率范围内采样 | 限制候选 Token 范围 |
| max_tokens | 控制最大输出长度 | 防止输出过长或成本失控 |
| stop | 设置停止序列 | 控制输出边界 |
| presence_penalty | 降低重复主题概率 | 鼓励引入新内容 |
| frequency_penalty | 降低重复词频 | 减少重复表达 |
不同模型的参数命名和行为可能略有差异,使用时要以对应平台文档为准。
# 2. 参数选择建议
| 任务 | 建议 |
|---|---|
| 事实问答 | 较低 temperature,强调依据和引用 |
| JSON 输出 | 较低 temperature,配合 Schema 校验 |
| 创意写作 | 适当提高 temperature |
| 代码生成 | 中低 temperature,配合测试验证 |
| 头脑风暴 | 适当提高随机性,鼓励多样性 |
# 3. 什么是幻觉
幻觉指模型生成看似合理但不准确、不存在或无法验证的内容。
常见表现:
- 编造不存在的 API、论文、链接或数据。
- 错误引用文档内容。
- 对不确定问题给出肯定答案。
- 把多个事实混合成错误结论。
# 4. 幻觉成因
| 原因 | 说明 |
|---|---|
| 训练目标 | 模型学习的是生成高概率文本,不是事实校验 |
| 上下文不足 | 缺少回答问题所需证据 |
| 问题诱导 | 用户问题本身包含错误前提 |
| 检索错误 | RAG 提供了不相关或错误上下文 |
| 输出压力 | Prompt 要求必须回答,模型不愿拒答 |
# 5. 幻觉治理方法
明确问题边界
-> 提供可靠上下文
-> 要求引用来源
-> 降低随机性
-> 结构化校验
-> 低置信度拒答
-> 人工复核高风险答案
工程实践:
- 对事实型问题优先使用 RAG 或工具查询。
- Prompt 中允许模型表达“不确定”或“资料不足”。
- 返回引用和证据,方便用户核对。
- 对结构化输出做程序校验。
- 对高风险决策引入人工审核。
# 6. 常见误区
| 误区 | 正确认知 |
|---|---|
| temperature 调低就没有幻觉 | 随机性降低不等于事实正确 |
| RAG 可以完全消除幻觉 | 检索错误或上下文污染仍会导致错误 |
| 让模型自查就可靠 | 自查有帮助,但不能替代外部验证 |
| 模型越强越不会错 | 强模型也会在边界问题上出错 |
# 7. Tips 快问快答
Q:幻觉能彻底解决吗?
A:很难彻底解决,只能通过检索、工具、引用、校验、拒答和人审降低风险。
Q:为什么模型会编造引用?
A:模型可能学习到了引用格式,但没有真实访问来源。需要由检索系统或工具提供真实来源。
Q:什么时候必须人审?
A:涉及法律、医疗、财务、安全、生产变更、资金操作和不可逆业务动作时,应引入人工复核。
上次更新: 2026/06/25, 17:53:09