Wrayの知识库 Wrayの知识库
首页
  • Java 基础
  • Java 集合
  • Java 并发
  • Java IO
  • JVM
  • Spring Framework
  • Spring Boot
  • Spring Cloud
  • Spring Security
  • MySQL
  • Redis
  • 计算机基础
  • 操作系统原理
  • Linux
  • MacOS
  • Windows
  • 系统工程与研究专题
  • AI 基础
  • 大模型基础
  • Prompt 工程
  • RAG 检索增强生成
  • Agent 智能体
  • AI 应用开发
  • AI 工程化
  • AI 安全与治理
  • AI 面试与设计题
  • 纸质书
  • 电子书
  • 学习课程
疑难杂症
GitHub (opens new window)
首页
  • Java 基础
  • Java 集合
  • Java 并发
  • Java IO
  • JVM
  • Spring Framework
  • Spring Boot
  • Spring Cloud
  • Spring Security
  • MySQL
  • Redis
  • 计算机基础
  • 操作系统原理
  • Linux
  • MacOS
  • Windows
  • 系统工程与研究专题
  • AI 基础
  • 大模型基础
  • Prompt 工程
  • RAG 检索增强生成
  • Agent 智能体
  • AI 应用开发
  • AI 工程化
  • AI 安全与治理
  • AI 面试与设计题
  • 纸质书
  • 电子书
  • 学习课程
疑难杂症
GitHub (opens new window)
  • AI概述
  • AI基础

  • 大模型基础

    • 大模型基础概述
    • Transformer架构概述
    • 注意力机制Attention
    • Token与上下文窗口
    • Embedding向量表示
    • 预训练指令微调与对齐
    • 生成参数与幻觉治理
      • 1. 常见生成参数
      • 2. 参数选择建议
      • 3. 什么是幻觉
      • 4. 幻觉成因
      • 5. 幻觉治理方法
      • 6. 常见误区
      • 7. Tips 快问快答
    • 多模态大模型基础
  • Prompt工程

  • RAG检索增强生成

  • Agent智能体

  • AI应用开发

  • AI工程化

  • AI安全与治理

  • AI面试与设计题

目录

生成参数与幻觉治理

大模型生成结果受参数、上下文和模型能力共同影响。理解生成参数可以帮助控制输出风格,但不能单独解决事实错误和幻觉问题。

# 1. 常见生成参数

参数 作用 调整效果
temperature 控制随机性 越低越稳定,越高越发散
top_p 从累计概率范围内采样 限制候选 Token 范围
max_tokens 控制最大输出长度 防止输出过长或成本失控
stop 设置停止序列 控制输出边界
presence_penalty 降低重复主题概率 鼓励引入新内容
frequency_penalty 降低重复词频 减少重复表达

不同模型的参数命名和行为可能略有差异,使用时要以对应平台文档为准。

# 2. 参数选择建议

任务 建议
事实问答 较低 temperature,强调依据和引用
JSON 输出 较低 temperature,配合 Schema 校验
创意写作 适当提高 temperature
代码生成 中低 temperature,配合测试验证
头脑风暴 适当提高随机性,鼓励多样性

# 3. 什么是幻觉

幻觉指模型生成看似合理但不准确、不存在或无法验证的内容。

常见表现:

  • 编造不存在的 API、论文、链接或数据。
  • 错误引用文档内容。
  • 对不确定问题给出肯定答案。
  • 把多个事实混合成错误结论。

# 4. 幻觉成因

原因 说明
训练目标 模型学习的是生成高概率文本,不是事实校验
上下文不足 缺少回答问题所需证据
问题诱导 用户问题本身包含错误前提
检索错误 RAG 提供了不相关或错误上下文
输出压力 Prompt 要求必须回答,模型不愿拒答

# 5. 幻觉治理方法

明确问题边界
  -> 提供可靠上下文
  -> 要求引用来源
  -> 降低随机性
  -> 结构化校验
  -> 低置信度拒答
  -> 人工复核高风险答案

工程实践:

  1. 对事实型问题优先使用 RAG 或工具查询。
  2. Prompt 中允许模型表达“不确定”或“资料不足”。
  3. 返回引用和证据,方便用户核对。
  4. 对结构化输出做程序校验。
  5. 对高风险决策引入人工审核。

# 6. 常见误区

误区 正确认知
temperature 调低就没有幻觉 随机性降低不等于事实正确
RAG 可以完全消除幻觉 检索错误或上下文污染仍会导致错误
让模型自查就可靠 自查有帮助,但不能替代外部验证
模型越强越不会错 强模型也会在边界问题上出错

# 7. Tips 快问快答

Q:幻觉能彻底解决吗?

A:很难彻底解决,只能通过检索、工具、引用、校验、拒答和人审降低风险。

Q:为什么模型会编造引用?

A:模型可能学习到了引用格式,但没有真实访问来源。需要由检索系统或工具提供真实来源。

Q:什么时候必须人审?

A:涉及法律、医疗、财务、安全、生产变更、资金操作和不可逆业务动作时,应引入人工复核。

上次更新: 2026/06/25, 17:53:09
预训练指令微调与对齐
多模态大模型基础

← 预训练指令微调与对齐 多模态大模型基础→

Copyright © 2023-2026 Wray | 鄂ICP备2024050235号-1
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式